视频结构化+AI,智能安防的未来

导语：中国安防市场上的视频监控系统建设，已经从基础系统的规模化建设转向深度应用层的功能模块建设，与此相关的各种安防新技术、IT与互联网新技术进入到更高级别的交融发展阶段，深度学习在视频结构化方面已经处于落地应用阶段了。


一、视频结构化的定义


原始的视频实际上是一种非结构化的数据，其中的目标只能直观的观看，不能直接被计算机读取和识别。视频结构化就是将视频这种非结构化的数据中的目标贴上相对应的标签，变为可通过某种条件进行搜索的结构化数据。视频结构化的叫法有很多，如视频目标属性解析、车辆结构化、行人结构化、 骑行结构化、人脸结构化、视频矢量分析、视频智能分析、视频内容检索分析、视频内容语义分析、视频机器学习应用等。


      


二、视频结构化的发展


视频智能处理经过了三个阶段，第一阶段是单兵设备，第二阶段是视频分布式处理，第三阶段就是视频结构化。前两阶段的特点是视频分析跟业务是耦合的，这在视频量小、业务相对简单时是适合的，但难以满足海量视频分析和日益复杂的业务需求。随着视频大数据时代的到来，需要一种解决方案，将视频智能分析与业务解耦，一个专注于海量视频的智能分析，一个专注于大数据的分析处理和用户的业务需求。


视频结构化发展又分为两个阶段：


第一阶段是目标识别与轨迹提取：


l  采用目标检测、特征提取、对象识别、深度学习等分析手段提取视频图像中的目标对象及运动轨迹。


l  对目标对象进行分类为人、车、物、行为、事件等不同类别。


将视频进行结构化分析,视频会分析如下结果：


1）把目标做人、车、物分类，生成快照索引信息


2）提取活动目标的轨迹信息


有了如上两类结果之后我们就可以做视频的搜索应用了。


1） 人、车、非机动车等分类搜索。


2） 轨迹搜索：


2.1)通过目标运动轨迹进行搜索：拌线、运动方向、运动区域等


2.2) 通过主颜色搜索目标


2.3）支持输入图片，通过目标外观进行相似度搜索


优点：


1） 多种搜索方式：类型搜索、轨迹搜索、颜色搜索、以图搜图。


2） 颜色矫正：克服不同摄像头的偏色问题


缺点：


所有厂商技术都是基于模式识别为基础的。


第二阶段是二次结构化：


l  进一步提取目标的高层特征包括目标颜色特征，分类特征，速度特征等，并把目标的轨迹信息以及高层特征形成高效的索引数据。


l  行人、人骑车、机动车结构化。


       二次结构化可以说是有智的飞跃，在原有目标分类的基础上，可以做更多的工作，支持的属性更多，视频搜过的召回率、准确率得到大大的提升，具体我们看一下针对行人、人骑车、机动车的结构化。


 优点：


1）  算法全面基于深度学习，搜索性能显著提升。


2）  可搜索的矢量特征值更多，从而提高召回率、准确率。


缺点：


数据量的问题，模型训练样本的数量。


      


三、视频结构化视频源的要求






       3.1、天网、智慧城市、雪亮工程、3111工程等架设的摄像头都没有问题，如自已架设摄像头宜距地面3.5-5m，最大俯视角度不超过15度。


3.1、结构化视频目标像素要求


四、视频结构化服务器


明景科技专门做视频图像处理的，涉及的产品有两个系列：


视频侦查系列产品：视频智能摘要检索系统、视频图像增强处理系统、视频快速采集下载系统、视频勘察箱、视频结构化服务器。


车辆大数据系列产品：车辆大数据分析检索系统、车辆大数据结构化分析系统、未系安全带检测系统。


言归正传，分结构化能力、应用实例、部署方式、产品形态四个方面讲一下他们的结构化产品：


其一、结构化能力


       行人结构化：


1)    上身衣着类型（马甲吊带背心、衬衫、西服、毛衣、皮衣夹克、羽绒服、大衣风衣、外套、连衣裙、无上衣等）


2)    上身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）


3)    下身衣着类型（长裤、短裤、长裙、短裙、连衣裙等）


4)    下身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）


5)    鞋子类型（光脚、皮鞋、运动鞋、靴子、凉鞋等）


6)    鞋子颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）


7)    携带包类型（单肩包、双肩包、拉杆箱、钱包等）


8)    携带包颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）


9)    发型特征（长发、短发、光头、帽子等）


10) 头部颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等）


11) 衣服纹理（纯色、碎花、条纹、格子等）


12) 性别（男、女等）


13) 体态（胖、瘦、中）


14) 种族（汉族、维族、黑人、白人等）


15) 年龄段（幼儿、儿童、青年、中年、老年等）


16) 携带物（打伞、抱小孩、拿手机、眼镜、墨镜、围巾、腰带、无携带物等）


17) 朝向（正面、背面、侧面）


 


汽车结构化：


1)    车牌号码


2)    车牌颜色


3)    车身颜色


4)    车型


5)    品牌


6)    子品牌


7)    年款


8)    特征物(年检标、纸巾盒、遮阳板、挂件、摆件、主驾安全带、副驾安全带、打手机)


9)    运动方向


10) 运动距离


11) 经过时间


12) 经过地点


13) 目标大小


14) 目标快照(原始分辨率)


 


人骑车结构化：


1)    上身衣着类型（T恤、马甲吊带背心、衬衫、西服、毛衣、皮衣夹克、羽绒服、大衣风衣、外套、连衣裙、无上衣等），


2)    上身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），


3)    下身衣着类型（长裤、短裤、长裙、短裙、连衣裙等），


4)    下身衣着颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），


5)    携带包类型（单肩包、双肩包、无包、钱包等），


6)    携带包颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色等），


7)    发型特征（长发、短发、光头、帽子、头盔等），


8)    衣服纹理（纯色、碎花、条纹、格子等），


9)    性别（男、女等），


10) 体态（胖、瘦、中），


11) 种族（汉族、维族、黑人、白人等），


12) 年龄段（幼儿、儿童、青年、中年、老年等），


13) 眼部特征（正常眼睛、眼镜、墨镜等），


14) 嘴部特征（正常嘴，戴口罩等）围巾特征（普通围巾、包头围巾等），


15) 非机动车颜色（黑、白、红、黄、蓝、绿、紫、棕、灰、橙、多色、银等）


16) 朝向（正面、背面、侧面），


17) 车上人数（0、1、2、更多），


18) 是否打伞，


19) 是否携带物品。


 


其二、应用实例


视频数据接入：


u  离线视频文件导入


Ø  支持的厂商：兼容主流厂家的视频文件下载（如海康、大华、宇视、华为/华赛、汉邦、天地伟业、中兴力维、科达、恒忆、英飞拓、东方网力、金鹏、浙江立元、 武汉烽火、上海皓维、同尊、苏州皓泰、苏州中德宏泰、中维世纪、金三立、大立、安联锐视、索尼、蓝色星际等）


Ø  支持的视频格式：h264、264、mp4、mpg、asf、avi、flv、wmv、mpeg、3gp、rm、rmvb、hik、dav、dvr、ts、h3crd、h3cv3、sdv、zv、znv、kdm4、ifv、mbf、jwr、avx、nsf、dat、mkv、avd、ps、KSJF、HE4、sv4、sv5、rec、m4v、hav、zmp5、600、692、801、ifv、lvf、vas、hdvr、dav、jav、eye、mov、dh、snv、bsr、msv、dvf等


Ø  支持原格式导入、转码后导入两种方式


u  实时视频流接入


Ø  支持rtsp协议视频流接入


Ø  支持IPC、NVR、DVR设备实时流接入


 


智能分析：


智能搜索：


u  智能搜索功能


Ø  轨迹搜索：感兴趣区域、拌线、进入驻留、行进方向、离开区域、不感兴趣区域、运动距离


Ø  时间搜索


Ø  目标分类搜索：人、机动车、人骑车、其他


Ø  特征搜索：人、机动车、人骑车的属性特征


Ø  外观条件搜索：主要颜色、颜色组合、屏幕取色、目标大小


Ø  以图搜索


u  智能结果显示功能


Ø  排序方式：按时间、相似度排序


Ø  显示类型：仅显示目标、目标和轨迹


智能播放器：


u  智能播放器功能


Ø  播放、暂停、倒放、前一帧、后一帧、快进、慢放、片断循环播放、书签、片断截取、物标、校时、变速播放、跳跃播放


Ø  快照与原始视频关联跳转




电子地图：


u  电子地图功能


Ø  添加摄像头、点标记、路线、案发地点、消失地点、计算移动区域、计算终点时间、计算移动速度、上下车地点等。


多任务并行处理：


Ø  结构化设备管理


Ø  结构化任务管理


Ø  CPU占用率、内存占用率、磁盘空间等的监控




 


其三、部署方式


实时视频流结构化分析，系统基于结构化分析结果进行告警、检索和挖掘


离线视频文件上传结构化分析，系统基于分析结果进行大数据分析、检索


其四、产品形态


主要有两种，一种是成套产品，包括单机版和服务器版。另外一种是对外提供SDK的方式，值得一提的是sdk的接口特别全，集成起来比较简单。