云原生边缘计算助力人机物融合泛在计算

云原生边缘计算助力人机物融合泛在计算

作者简介：

彭鑫, 复旦大学计算机科学技术学院副院长、软件学院副院长、教授、博士生导师。中国计算机学会（CCF）杰出会员、软件工程专委会副主任、开源发展委员会常务委员，IEEE高级会员，《Journal of Software: Evolution and Process》联合主编，《ACM Transactions on Software Engineering and Methodology》、《Empirical Software Engineering》、《Automated Software Engineering》、《软件学报》等期刊编委。主要研究方向包括软件开发大数据分析、软件智能化开发、云原生与智能化运维、人机物融合泛在计算、机器人软件工程等。

人机物融合泛在计算是软件工程、系统软件及相关领域学者近几年一直非常重视且持续深入探索的方向。在探索过程中，我们逐渐发现边缘计算是非常重要的一部分，无论是设备的接入，还是算力保障，都跟边缘计算密切相关。

KubeEdge把云原生的思想拓展到了边缘计算环境之中，提供了一个云原生边缘的基础底座，为学术界开展人机物融合泛在计算相关研究提供了非常好的系统支撑。

接下来，我将就《云原生边缘计算助力人机物融合泛在计算》这一演讲主题，分享我们的思考和探索。

▎人、机、物三元融合的万物智能互联时代

以信息技术、人工智能为代表的新兴科技快速发展，大大拓展了时间、空间和人们的认知范围，人类也正在进入一个人、机、物三元融合的万物智能互联时代。这里谈到的人、机、物中，“机”是由计算以及软件构成的信息空间，其中包括了各种计算、存储等资源，以及相关的软件服务；“物”指的是物理世界中的各种设施、设备；“人”是指通过各种方式联系而构成的人类社会。在现实世界之中，我们都是生活在一个人、机、物融合的空间之中。唯有把人、机、物三方面的资源有机融合，才能满足每一个人对现实世界的需求。而人、机、物融合的基础，就是物理世界的数字化。

▎物理世界的数字化

在我们的现实世界之中，各种各样的传感器及智能设备的使用已是无处不在，传感器可以使物理世界中的各种状况、状态、属性以数字化的方式被感知，从而将物理世界接入到一个数字空间中，而各种智能设备可以通过软件化和网络化的方式进行操控。正是基于这种物理世界的数字化，我们看到了很多人、机、物融合的应用，比如人脸识别、智能安防、空气质量与光照的自动管理，以及智能停车引导等。虽然这类应用已经得到了广泛使用，但它们之间还是一种相对割裂的状态和方式存在，没有进一步形成广泛的连接，从而实现所谓的万物互联。这样的状态和基础使得“人机物融合”有了进一步发展的可能和空间。

▎现实世界中的人机物融合应用

在一些垂直领域，比如网络订餐、网络购物等，已经有很多厂商实现了大量资源的接入和统一的管理。比如在网络订餐系统中，用户可以通过手机下单，这个时候使用到的其实就是一个信息服务；而餐厅提供的是一种社会服务，根据网络订单来准备相应的餐食，然后借助快递小哥这种人力资源送达到对应的地方，有些地区甚至还会引入快递柜这种物理资源。

但是，这种依托于垂直领域的人机物融合是以一种固化的方式来实现的应用场景，其中的人机物资源融合及组合的模式相对固化，无法根据用户的不同需求按需进行融合。比如快递小哥，他只能按照一种固化的模式来接受平台的指令，无法实现人、机、物资源大规模共享和按需服务。因此，这种垂直应用领域中的人、机、物融合有一个确定的边界，并在这个边界之内按照固化的模式来提供应用服务，无法满足边界之外的更多更广的需求。因此，如何在现实世界中提供以用户为中心的资源共享和按需融合，可能是需要注意的未来发展方向。

▎超级自动化（Hyperautomation）

超级自动化是连续三年被Gartner列为战略级技术趋势之一的业务驱动方法，用于快速的识别、审查，自动化尽可能多的业务和IT流程，目前在企业信息化领域讨论较多。众所周知，企业经过多年的信息化发展，已经建立了很多信息系统，但是这些系统之间没有打通，形成了信息孤岛。那么超级自动化希望利用如RPA、人工智能（AI）等一些技术打通不同系统之间的协作流、执行流、数据流，打破企业组织壁垒和资源孤岛（业务、应用、数据）。比如在日常工作中需要通过OA系统申请开发票，经过层层审批后，得到一个纸质的票据，然后再由人工录入到财务系统中。在这个过程中，OA系统和财务系统没有打通，但通过RPA和AI技术的辅助，不仅可以实现这些系统的打通，还可以在初步实现不同业务系统，不同信息系统之间形成串联和组装的基础之上，实现进一步的智能化。通过对企业级全局流转的数据进行智能优化，来实现业务、流程等各个方面效率的升级，这种优化和升级就是所谓的超级自动化，其实就是利用RPA和AI技术，把原先企业内部自动化和信息化中的断点衔接上，从而实成一个更大范围的自动化，并进一步融入更多的智能化能力，从而产生一个质变。

▎人机物融合泛在计算

人、机、物融合泛在计算，实际上是把云计算，甚至进一步把云原生这种思想拓展到了万物互联的泛在计算空间。在现实生活中，我们可以用软件的方式，将物理设施（如一栋楼、轨道交通）和物理设备（比如咖啡机、ATM）接入到信息空间里。比如咖啡机，我们可以通过各种软件接口去了解这个咖啡机的状态，并向这个咖啡机下达指令，让它来烧制一杯咖啡。通过软件也可以来统一调度人力资源，比如可以以手机为接入点，向外卖的骑手发出工作指令，指派他完成一些工作。

对物理世界的资源进行软件化的封装和抽象之后，就会在数字空间中形成资源的孪生。再进一步，将信息服务、物理设施设备的相关服务和人力服务融合在一起，就构成了人、机、物融合的应用。由此可见，人、机、物融合泛在计算反映的是现实世界从软件化（IT化）发展到了云化和云原生化。我们可以通过多种软件定义的方法以及智能化技术实现面向万物互联的超级自动化。这里借用了一个超级自动化的概念，只不过把它的含义拓展到了人、机、物融合的现实世界之中。正如现在我们借助手机，借助一些场所的信息化服务，是能够享受到一定的自动化和信息化的服务的，但这种服务不是连续的，做的也不够充分。我们希望能借助于各种软件定义及智能化的技术获得类似超级自动化的效果，把原来断开的各种信息化和自动化的服务，尽可能完整平滑地、无缝地衔接在一起，让每个用户都能够享受到完整的自动化、智能化服务体验，并再进一步实现类似DevOps的快速反馈，敏捷适应和持续演进。

针对DevOps在现实世界中的实践，我们可以想象一个游乐园。里面有大量的设施设备，比如游乐设施，智能设备，也有很多人力资源，那么整个园区的运营就可以通过软件定义的方法收到大量的实时反馈。当然，反馈不仅来自于信息系统和软件系统，也会来自物理世界，因为大量的传感器，包括人也会反馈各样的信息，把收集的信息经过综合之后，变成一种快速反馈，来指导整个园区运营策略上的调整。因为实现了广泛的软件定义，不管是人力资源的调配，还是物理设施设备的管控，还是本身的软件系统运行都是可以通过这种统一的软件化的方式来进行操控。如此，就可实现一个类似于DevOps的这种快速反馈，敏捷适应和持续演进。只不过这个时候所针对的对象，不再是一个纯软件系统，而是现实中人、机、物融合的大系统。目前，在智慧城市、智慧交通，智能汽车、智慧工厂还有智慧牧场等诸多领域，都已经看到一些应用场景，实现了一些类似的效果。

▎人机物融合应用系统平台

上文提到的人、机、物融合的系统需要一个底层的新型系统平台作为一个支撑。

这种系统平台，首先要能广泛地接入各种人、机、物资源，在这个基础之上提供资源能力抽象和统一的管理。传统的软件开发大量使用的是软件服务，比如本地的软件组件，通过传统的软件API就能对其能力进行封装和比较方便的编程。但是当这个软件在人、机、物融合的系统中应用，它的编程空间拓展到人、机、物这样一种三元空间之后，这种资源就不仅仅是传统的软件服务，而是拓展到了人、机、物资源。例如针对一个物理的咖啡机，如何对它提供一个数字化的表征，如何去刻画一个咖啡机的功能接口，这些就是要通过资源的能力抽象以及统一管理解决的问题。当平台向下管理资源时，还需要对这个资源的调度、状态进行把控。在此基础上，还要提供一个统一的、结构化、数字化的表征，目的是向上层应用的开发和运行提供统一的抽象，比如通过哪些传感器，通过哪种算法去读取咖啡机的状态，怎么去控制咖啡机，这些底层的细节都应该对应用层屏蔽。应用开发应是通过一种类似于像低代码开发框架这种方式，甚至可以由普通用户自己通过图形化的编辑，来实现人、机、物融合应用的开发。

举例说明，如在智能楼宇和智慧办公场景中，在接入各种资源（如智能灯，传感器，包咖啡机）的基础上，对每一个资源都有相应的能力抽象，并对各种资源得到的信息进行融合感知，产生一些对物理环境的综合的感知结果：比如房间有几个人，房间的门是开还是关，有人进入某个房间，这些都是融合感知的结果。融合感知的结果结合楼宇结构等背景知识，就能够形成一个运行时可以动态更新的结构化的表征。在这个基础之上，我们可以对物理设施，比如对咖啡机、智能灯、空调进行反馈控制。有了这些数字化和结构化的表征，我们的应用开发可以通过低代码的方式，来支持普通用户进行这个应用的定制。

▎人机物融合应用“编程”

下面通过一个例子来解释人机物融合应用的编程。假如现在有一家公司，当VIP客户进入到公司范围之内，就可以通过各种方式，如摄像头人脸识别，发现VIP客户来访这个事件。这个事件会触发迎宾机器人到达入口位置并播报欢迎词。再进一步，可以发一个指令给咖啡机，按照VIP客户的口味偏好来准备相应的咖啡。在这个基础上，还可以查询会议室状况，从而决定在哪接待VIP客户，并让迎宾机器人将VIP客户引导到对应的会议室。咖啡制作完成后会产生就绪事件，进一步触发一个送餐机器人，在机械臂的协助之下取到这杯咖啡，并且送到指定的地点。

这种方式实际就是把人、机、物融合感知实现到物理世界中，实现事件的抽取和属性的更新，并通过对物理资源的软件定义实现相应的命令。利用这种方式将各种各样的人、机、物的资源、服务，封装成类似软件的命令、查询、事件等一些接口，从而可以在这个基础上来实现融合的编程。而且在这个应用执行的时候，还可以基于时空的约束实现实例的绑定，相当于一个服务发现。比如咖啡机是有位置的，可以根据当前的每个咖啡机的运转状况和所在位置，优化选择咖啡机实例满足应用执行的需要。

在这个过程中，有两方面是非常重要的。一方面是设备的接入和管理，要支持不同协议的设备和传感器的接入，进一步通过设备的孪生来实现软件化的设备的管理和能力的抽象，还要根据物理世界的现实情况形成一个分级、分区的局部自治管理。比如说我们学院所在的这栋大楼，里面有很多的设施设备，我们希望它是一个局部自治的，即服务都在本地提供，不需要上升到学校的这个级别上。但当有些应用场景需要时，可以向更上级，比如园区，校区这种更大范围的资源来进行相应的请求。

另外一个方面，人、机、物融合的应用会涉及到很多计算密集型任务，如人脸识别，这些环节就需要算力的支撑。并且人、机、物融合的应用会大量发生在物理世界，发生在每个用户身边，如果完全依靠云上的计算环境，那么不管是从响应时间，还是从计算负载、带宽等各个角度都达不到很好的支撑效果。因此，在边缘环境中，提供按需的算力保障是非常重要的，我们希望运用云边融合的方式，实现计算能力的保障。

▎云原生边缘计算

从今年初我们开始了解KubeEdge之后，就跟KubeEdge团队有非常密切的交流，也在探讨一些合作。KubeEdge的两大能力正好就回应上述两个关键点，一个是设备的接入和抽象，比如通过Mapper为我们不同的硬件设备，包括传感器，提供类似驱动器的功能，并通过Device Twin来实现对于设备能力的数字化表征。另一方面，KubeEdge通过把Kubernetes的能力延伸到边缘侧，提供边缘侧的算力保障。除此之外，我们看到KubeEdge已经在很多领域被提及，如北邮天算星座，部分车企正在基于KubeEdge搭建智能座舱的云原生边缘的系统平台。所以我们相信，与KubeEdge合作将是非常好的一个选择，可以很好地支撑人、机、物融合及泛在计算这种系统平台的实现。当然我们也会根据人、机、物融合泛在计算的需要进一步与KubeEdge团队合作，拓展KubeEdge的能力，比如设备和算力保障这两个方面如何支持分级分区的局部自治，以及设备的能力抽象，我们还有很多东西可以在未来不断的拓展。

▎机器人的作用

在这个过程中，机器人也起到非常重要的作用。因为超级自动化在物理世界之中有很多环节，要充分利用机器人在物理世界的任务完成能力来帮助人、机、物融合的应用更好地实现自动化的闭环，减少人工干预。这里的主要挑战在于如何对机器人进行能力的抽象，以及在此基础上实现人机的交互和协作。

▎总结

人、机、物融合泛在计算，是把云计算的思想拓展到人、机、物的三元空间，实现多元资源虚拟化，并按需融合信息、物理，人力资源及相关服务，来实现用户在现实世界的需求。在这个过程中，是完全可以通过软件定义的方法和相关的智能化技术实现面向万物互联的超级自动化。

为此，我们需要建立一个人、机、物融合的应用平台以及相应的低代码“编程”体系，同时需要通过云原生边缘计算支持设备的接入和管理以及算力保障，并利用机器人的任务完成能力帮助人、机、物融合应用更好地实现自动化的闭环。

对于未来的展望，我们希望能够建立面向人、机、物融合应用的“开发运维一体化’，来实现快速的反馈，敏捷的适应，以及持续演进等方面的目标。

KubeEdge社区    

KubeEdge是业界首个云原生边缘计算框架、云原生计算基金会内部唯一孵化级边缘计算开源项目,社区已完成业界最大规模云原生边云协同高速公路项目（统一管理10万边缘节点/50万边缘应用）、业界首个云原生星地协同卫星、业界首个云原生车云协同汽车、业界首个云原生油田项目，开源业界首个分布式协同AI框架Sedna及业界首个边云协同终身学习范式，并在持续开拓创新中。