【转载】陈长汶：视频物联网——新一代智能化物联网｜CCF-GAIR 2020

【转载】陈长汶：视频物联网——新一代智能化物联网｜CCF-GAIR 2020

8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。

8月 7 日下午，「人工智能前沿」专场在主会议厅举行。
深圳市人工智能与机器人研究院执行院长、国际欧亚科学院院士、IEEE Fellow 李世鹏任专场主持人。
李世鹏：下面的登场嘉宾是鹏城实验室副主任、香港中文大学（深圳）校长讲座教授、IEEE Fellow陈长汶。陈长汶教授目前还担任中国科学技术大学大师讲席教授、SPIE Fellow。他曾担任 IEEE Trans. Circuits and Systems for Video Technology （视频技术顶级期刊）和IEEE Transactions on Multimedia （多媒体的顶级期刊）的主编以及多个国际一流期刊的编委，在图像视频处理与分析、电子成像、视觉通信、移动通信等领域做出了卓越贡献。他是我的大师兄，也是我学术生涯的导师，他对我们国内的学术界贡献有很多，这里就不一一列举了，下面以热烈掌声欢迎长汶。
我今天的演讲题目是《视频物联网：新一代智能化物联网》。
今天讲物联网，但是我基本上只讲视频部分，而且视频物联网是以前没有的。我会先从物联网经典定义讲起，再说现代物联网应用的六大新趋势，和视频物联网的特征及相关的技术挑战，之后我会花3页内容讲讲5G，再讲视频物联网五个方面的应用，最后总结一下，大概是这样的流程。

1经典互联网的定义和主要特性
“物联网”一词源于1999年Kevin Ashton的定义，到现在也就二十多年。
物联网是指通过各种信息传感设备，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。

物联网包含各种各样的传感器，我今天只讲视觉传感器。视觉传感器以前是很少的，最近才慢慢多起来了，有些方面延续高文老师说到的智慧城市大脑，我们这次只着重物联网方面的内容分享。

2现代物联网应用的六大新趋势
六大新趋势是2018年年底提出来的，我想现在依然很好用，六大应用趋势是医疗健康方面、移动终端、定位系统、智能汽车、家居安防和工业制造。这些是权威人士讲的，这里有原始链接：
https://www.infographicdesignteam.com/blog/2018-iot-six-staggering-trends-infographic/
医疗健康应用
这里面有各种各样的传感器，有一些甚至是体内的视频传感器，当然大部分是体外的，做过可穿戴系统就知道，有一些可穿戴系统是跟视频相关的。

移动终端应用
这里体现的是手机数量，这里面有各种各样的手机，还有一个所谓的移动终端是大家没有想到的，就是无人机，大部分无人机有摄像功能也可以联网，这就相当于是物联网的移动终端。

定位系统应用
这里讲一下北斗，北斗为什么跟这个有关系呢？因为北斗系统中需要更精细的位置，这就需要高空同步信息系统，实际上很多地方都用到这个。很多地方的地图功能不仅仅只有位置，还会显示旁边喜欢的店，有的不仅仅有店的名字，店的招牌也都显示出来了，甚至有时候排队都加进去了。这些信息的集成都需要视觉传感器和视频。

智能汽车应用
智能汽车大家都知道，新的智能汽车上面通常有4-6部摄像头，这个也是移动的物联网终端。有时大家会感觉物联网距你很远，但实际上它跟你的距离很近，手机就是物联网的终端，很多时候它可以用来感应你的位置信息和其他的信息。

家居安防应用
家居安防大家都知道，在交通、家庭等其他场景都有监控，这是家用的视觉传感器。

工业制造应用
这一点现在比较少，还没有普及。在这里，视觉传感器主要安装在工业机器人身上以及车间环境的视频监控系统上。

3新一代视频物联网的特征和技术挑战
视频物联网的三部曲：感知、联网和集成。

先讲讲感知，在传统物联网里面视觉传感器非常少见，基于以下三个原因：
一，传统的感知和联网基础设施基本上不能支持视频传感器。
二，数据分析也仅限于稀疏和低占空比的传感器数据。
三，物联网平台还经常受限於能源和功耗的棘手问题。
现在不一样了，新一代的视频物联网多数由智能化的视觉传感器组成，这有三个特点：
一，新型的传感器具有相对完善的图像/视频获取功能。
二，图像/视频数据具有直观的特性，适合人机交互，机器识别难度高。
三，新型的传感器还可以安装嵌入式视频分析功能 (便携式视频分析）。
可以说视频监控是无处不在的视频物联网案例，它广泛应用在安全城市、智慧交通、物流仓储、智能家居等领域。
这之中最关键的是超大规模数据量，而且是非结构化的数据，所有图像结构都是这样的。大数据如果没有结构化，那么价值是超低的。但是视频这边大部分都是全天候视频、大面积覆盖、大范围联网，这种情况下挑战还是挺多的。
现在讲一讲联网。
新一代物联网：视频物联网的智能联网
要把数据收集起来最关键的是联网，而且要智能化的联网，传统的视觉传感器通常为单一应用设计，数据存於本地，而联网之后的视觉传感器数据，其应用价值将轻易翻倍。
但是视频大数据的大规模联网传输将是一个十分挑战的任务，新一代视频物联网平台需要在在线数据处理、智能化缓存和高效传输之间取得平衡。
新一代视频物联网要求全新的智能化联网思路和设计：
无处不在的无线接入系统：WiFi, 5G移动通信，蓝牙等等
大规模联网的云计算平台：为视频大数据的云端处理提供方便
下一代网络计算新架构：边缘计算和雾计算，为视频物联网的联网提供了可能性

最后讲一下集成。
新一代物联网：视频物联网的智能集成
要在中心做集成，就看收取的信息是怎么样的。联网和检索也是一个很大的问题，物联网不仅需要收集数据，还需要有效的搜索，这也是很大的挑战。
视频传感器必须先压缩，只要能把信息做出来就是很好的。这种情况下，现在的检索跟以前完全不一样了，以前的检索是以图像内容做检索，现在大部分是以特征，所以必须要找到这样的特征。
集成想要真正做到有效，隐私是很大的问题。我刚刚讲了非视觉数据很有用，不是说视频物联网拿所有的数据，而是比如说从静态、动态的参考数据，这些可以让原来的视频更好。原来你不知道相关位置在哪里，有了这个之后数据价值就能倍增。
多元数据的集成主要是达到什么目的？
我们不仅要知道发生了什么，还要知道为什么发生，更重要是知道如何应对，我们要把整个链条给打通。有一些相对集成的案例，如传统IoT的数据加上视频之后就会让IoT做到最好。
视频物联网框架下的集成案例
图像/视频数据和传感器网络传统数据的集成将提供前所未有的参考信息和语义信息。

视频物联网的主要特征
这里讲一下视频物联网的四个主要特征：
1、无处不在的物联网感知 – 从传统的标量感知到新型的多媒体感知；从传统的简单感知到嵌入式“感知+处理”。
2、空时动态的物联网联网功能 – 从空间分布的传统物联网节点部署到空时动态分布的视频物联网宽带联网。
3、视频物联网的全天候数据产生 – 高性能处理能力的需求需要覆盖物联网全链路：边缘计算，雾计算，和云计算。
4、破解支离破碎的信息孤岛困境 – 促使视频物联网的数据在不同物联网服务之间流畅共享以取得真正全局视野。
视频物联网的技术挑战总结
这里对视频物联网的技术挑战做个总结：
1、感知前端嵌入式视觉数据处理至关重要，并需要与前端存储部件，联网链接，和各级的能耗效率设计联合优化。
2、可靠和自适应的视频物联网通讯链接能力才可以保证图像/视频数据在联网的大环境下充分得到应用 。
3、视频数据压缩和视频数据分析的集成平台设计才能够提供有效的基于视频物联网应用的有效搜索和检索。
4、网络安全和个人隐私的恰当平衡才能保障直观敏感的视觉传感器数据的共享和分布式处理。
5、建立视频物联网的标准平台是最后的关键，是破解信息孤岛现象以达到全系统优化的必要条件。

4 5G：连接视频物联网和各类应用的纽带
5G网络与视频物联网
我用3张PPT讲5G，实际上这1张就够了，右边是各种各样的新技术，左边是各种各样的新应用。从这上面来说就有Massive MIMO、IoT、M2M、D2D等各种各样的新技术。

目前5G的三大应用场景：
5G不是一个标准，而是有三个应用场景和定义：
1、增强移动宽带 2、高可靠超低延时通信 3、海量机器类型通信

5视频物联网的五大应用场景
接下来讲一下视频物联网在健康医疗、移动终端等五大应用场景

视频物联网在健康医疗的应用
1、传统的物联网已经被用于多种健康医疗平台
医疗健康类的物联网应用将在2020年达到人民币一千亿以上；以后每年的增长还将达到15%以上。
5G定义的mMTC应用场景，将对健康医疗类传感器提供前所未有的接入便利和云端计算的算力支撑。
可穿戴设备将提供可持续的用户生成医疗健康数据以帮助医生全面诊断。
2、视频物联网将全面提升健康医疗平台的系统性健康监控
视频传感器数据可以提供更直观的健康医疗监控数据和更直接的干预
智能手机可以作为视频传感器用于全时全方位的健康追踪系统；体内视频传感器也将用于不同体内器官的诊断和治疗
视频物联网在移动终端的应用
1、传统移动通讯的发展与物联网的发展历史上并没有交集
智能手机的空前成熟，5G的迅猛发展，以及手机终端嵌入式传感器的广泛应用使手机越来越像物联网的传感器。
智能手机的总量在2020年达到35亿部，几乎是人类总人口的一半。
手机独有的便携式功能和流畅的互联网接入已经颠覆了手机作为语言通讯的主要功能。
2、智能手机和无人机的摄像头将形成强大的视频传感器集群
现代手机的嵌入式处理器可以构成传感、处理、缓存三位一体的智能体。
智能手机和无人机的无缝联网功能提供了视频物联网最根本的互通互联和在线处理功能。
视频物联网在智能交通的应用
1、车载视觉传感器的智能车辆作为视频物联网的移动节点
全球的车联网的数量将在2020年底达到2亿5千万辆。大部分的智联车辆都装有4-6个车载视觉传感器。
车载视觉传感器将作为智能交通应用的视频物联网的动态终端，可以通过5G实时连接城市交通管理系统。
基于5G网络的全时车内车外同步监控，多车接力，形成动态车联网。
2、交叉路口监控摄像头网络作为视频物联网的固定节点
无缝融合车联网移动终端和固定网络节点，组成全方位智慧交通网络。
5G提供超强的区域联网以提供交通拥堵大态势预警，达到现代城市交通的智能化管理。
视频物联网在机器人领域的应用
视频物联网环境下的自主移动机器人
自主移动机器人通常通过内置的传感器、摄像头和复杂软件实现导航。
视频物联网使得内置传感数据和外部环境数据得到有效集成。
5G的低延时可靠交互能够自动识别环境变化，实时规划新路径，安全绕避所有动态障碍物和流动人员。
基于视觉主导的飞行机器人
无人机上的360度全景相机通过5G网络将4K全景视频传输到VR服务器。
5G网络和无人机相结合的快速联网视频分析以实现全方位无死角的安防。
机载摄像头视频通过5G实时回传现场高清视频画面，结合边缘计算能力与AI技术，快速识别受困人员和周边环境，有效开展搜寻营救工作。
视频物联网在工业制造的应用
视觉增强的工业制造机器人
具有视觉能力的工业机器人通过5G网络进行云端适配提供更高端的服务。
5G的低延时联网可以实时控制视觉增强的工业机器人的视频传感器和其它先进硬件。
5G的可靠覆盖能力可以使视觉增强的工业机器人在更大范围内执行任务。
视频物联网环境下的工业制造应用
基于视觉物联网和5G，可设计出与人类员工实时沟通的工业制造机器人。
工业制造系统通过视频物联网获取全方位空时变化环境图以有效导航。
通过5G实时联网，形成工业机器人集群来完成多任务的实时协作。

6总结与展望
1、与AI和5G一起，视频物联网正在阔步向我们走来
日益增强的视觉传感器AI数据分析和联网能力 –也即智能化前端、高带宽低延时联网、全局优化的集成让视频物联网更加成熟。
2、物理基础设施已经可以基本上满足视频物联网的需求
新一代5G的mMTC应用场景可以满足视频物联网的大规模联网和云雾端计算与通信集成的独特需求。
3、视频物联网将覆盖从小规模个人应用到大规模工业应用以及城市应用的广泛应用场景
个人和群体的医疗健康监控、智能手机和无人机的普及、智能交通与智慧城市的应用、机器人与环境和人类交互，工业4.0的制造业自动化。
最后，我根据今天讲的东西，写了一篇报告，这是我疫情期间自己写的很多年的成果：