目录
一、视频结构化分析技术介绍
1、概述
视频结构化分析技术是指将视频内容转化为结构化数据的过程,这些结构化数据可以进一步用于目标检测、目标分类、目标跟踪等任务,以提高视频内容的可搜索性和可分析性。
2、定义
视频结构化分析技术是一种通过智能分析原始视频,提取出关键信息,并进行文本语义描述的技术。它利用目标检测、特征提取、对象识别、深度学习等分析手段,将视频内容组织成可被计算机和人识别、理解、检索的文本信息。
3、核心环节
视频结构化分析技术的核心环节主要包括以下几个步骤:
(1)目标检测:
在视频帧中检测出目标对象,如人、车、动物等,并给出目标对象的位置和大小。这通常使用深度学习模型,如卷积神经网络(CNN)等,来训练模型并进行推理。
(2)目标分类:
在目标检测的基础上,对检测出的目标对象进行更加具体的属性识别,如识别出车辆的品牌、颜色等。这也依赖于深度学习模型来进行特征提取和分类。
(3)目标跟踪:
在连续的视频帧中,对同一目标对象进行连续的跟踪和识别。这有助于建立目标对象在时间上的关联关系,从而更好地理解视频内容。
4、应用领域
视频结构化分析技术在多个领域有广泛应用,包括但不限于:
(1)智能监控:实现对监控视频中目标对象的自动识别和跟踪,从而实现对异常行为的自动检测和预警。
(2)智能交通:通过视频结构化分析技术,可以实现对车辆和行人的自动识别和跟踪,有助于交通拥堵和交通事故的自动预警和处理。
(3)智能安防:在安防领域,该技术可以实现对安全区域中目标对象的自动识别和跟踪,从而实现对安全事件的自动监测和报警。
二、视频中车辆和人的结构化
1、需求
对视频中车辆和人体特征信息的结构化提取;
实现对视频中活动目标特征的结构化提取;
实现智能结构化分析后文本信息和图片信息的存储和检索;
实现动态扩容,智能分析性能随着设备数量增加做相应提升;
实现第三方标准视频流的接入和智能分析应用;
实现本地录像的智能分析,支持无插件播放,
实现智能检索、数据统计、布控报警、任务管理、资源管理、集群管理、系统校时、日志查询等功能。
配合视频监控管理平台,根据车辆、人员的特征信息,实现对人员、车辆的轨迹搜索等应用。
2、信息内容
车辆特征信息包括:车辆车牌号码、号牌颜色、车辆颜色、车辆类型、车辆品牌、车辆子品牌等。
人员特征信息包括:行人衣着颜色、性别、是否骑车、是否背包、是否拎东西等。
3、功能说明
(1)信息智能识别功能
功能描述如下表:
功能项 | 功能说明 |
车辆信息识别 | 支持车辆车牌号码、号牌颜色、车辆颜色、车辆类型、车辆品牌、车辆子品牌等信息的识别提取 |
支持600种以上机动车车辆品牌的识别 | |
支持6500种以上车辆子品牌识别 | |
支持红、黄、绿、橙、蓝、紫、金、银、粉、棕、白、灰和黑11种车身颜色的识别 | |
支持车、商务车、面包车、皮卡车、微型货车、轻型货车、中小型客车、大型客车、微型轿车、重型货车、中型货车、电动四轮车、专用车辆的功能;车辆使 用性 质支持 识别校车、集装箱运输车、体车、搅拌车出租车、消防车、警用车、工程抢险、军用车、渣土车、公交车、长途客车、教练车、救护车、运钞车、环卫车、宣传车、蓄禽运输车、厢式运输车、殡仪车、工业工程车、执法车等多种车型的识别 | |
支持主驾驶未系安全带检测识别 | |
支持主、副驾驶遮阳板打开检测识别 | |
支持黄标车的检测识别 | |
支持危险品车辆的检测识别 | |
支持车辆背向品牌、子品牌、颜色识别 | |
人体特征识别 | 支持行人属性包含:性别、年龄段、帽子、帽子颜色、头发长度头发颜色、眼镜、口罩、双肩 背包和颜色、单肩挎包和颜色手提包(袋)和颜色、伞、工作服款式、鞋子款式、上衣纹理上衣颜色、下身服饰颜色、人员姿态等属性的识别 |
活动目标信息识别 | 支持活动目标(车和行人)颜色、大小、方向、速度的识别 |
(2)智能检索功能
功能描述如下表:
功能项 | 功能说明 |
目标类型检索 | 支持以人、车为条件进行智能检索; |
按时间段检索 | 支持按时间段检索车辆、活动目标的分析结果,可设置检索的起始和结束时间 |
车辆信息检索 | 支持以通道、过车时间、车牌号、车牌颜色、车辆颜色、车辆类型、车辆品牌为条件对车辆进行检索 |
支持车牌号码模糊检索功能 | |
行人信息检索 | 支持以通道、经过时间、颜色、大小、运动方向、速度、年龄段、性别、是否戴眼镜、是否骑车、是否背包、是否拎东西进行人体特征检索 |
检索结果 | 车辆检索结果应包括过车的时间、车牌号、车辆颜色、车辆类型、车辆品牌,车辆子品牌、车辆方向,遮阳板,安全带,打手机,危险品车,黄标车以及对应的过车图片等信息 |
行人检索结果应包括时间、颜色、大小、运动方向、速度、年龄段、性别、是否戴眼镜、是否骑车、是否背包、是否拎东西及对应的图片等信息 | |
车辆、人、活动目标的检索结果支持以缩略图形式展现 | |
数据导出 | 支持将检索到的结构化数据和图片结果以Excel表格形式导出 |
(3)数据统计功能
功能描述如下表:
功能项 | 功能说明 |
数据统计功能 | 支持按车辆类型、车辆方向、车流量、人员性别、人流量、人员年龄段统计 |
支持按年报表、月报表、周报表、日报表方式统计 | |
支持统计结果以饼状图显示 |
(4)布控报警
功能描述如下表:
功能项 | 功能说明 |
布控报警 | 支持布控报警信息按车牌号、开始时间、结束时间检索 |
支持布控报警信息确认 |
(5)任务管理
功能描述如下表:
功能项 | 功能说明 |
智能分析功能 | 支持对视频中的车辆信息做结构化识别和提取 |
支持对视频中的行人信息做结构化识别和提取 | |
支持对视频中的活动目标特征信息做结构化识别和提取 | |
任务类型 | 支持对实时视频做智能结构化分析 |
支持对历史录像视频做智能结构化分析 | |
支持对本地录像文件做智能结构化分析 | |
支持新建多个智能分析任务 | |
支持统一配置任务列表中的所有智能分析任务 | |
支持配置检测区域、屏蔽区域规则 | |
支持删除任务、暂停任务、启动任务功能 | |
优先级设定 | 支持任务优先级设定功能,分析任务的优先级分高、中、低三个级别,可根据需求设置 |
实时视频结构化任务无优先级选项,优先级别默认为高 | |
任务检索 | 支持智能分析任务状态的查看,可通过智能分析类型、优先级、视频源类型、任务运行状态等条件进行检索 |
支持任务分析结果的实时动态展示; |
(6)资源管理
功能描述如下表:
功能项 | 功能说明 |
数据同步 | 支持监控点信息同步功能,能够从接入平台同步监控点的组织树信息 |
支持视频接入网关,通过GB28181级联第三方平台和非标准码流转码。 | |
设备管理 | 支持IPC、NVR等设备通过onvif协议直接添加、删除和修改等功能 |
支持第三方标准视频流设备的接入和智能分析 | |
数据导入/导出 | 支持以Excel表格的形式导入、导出本地添加的监控点信息 |
录像管理 | 支持本地录像文件的导入、删除、清空等功能 |
(7)系统管理
功能描述如下表:
功能项 | 功能说明 |
系统校时 | 支持NTP校时以及手动校时功能 |
用户配置 | 支持用户创建、修改和删除 |
显示配置 | 支持车辆、人、活动目标结构化后信息的显示配置,可根据需求显示想要的信息 |
布控管理 | 支持通过车牌号、时间进行布控; |
支持按照模板批量导入导出布控信息 | |
支持历史布控记录检索 | |
日志检索 | 支持按行为日志、运行日志、报警日志、操作日志等类型进行日志检索 |
日志导出 | 支持将检索到的日志导出为txt文件,保存到用户指定位置 |
(8)接口管理
功能描述如下表:
功能项 | 功能说明 |
接口管理 | 各种服务接口的定义 |
管理服务器、转发服务器和录像服务器等服务器、以及客户端之间通信接口 |
三、应用实例
1、人员参考场景
(1)人员卡口
![](https://i-blog.csdnimg.cn/direct/aece1eee3c7340419569ffb98e592b7d.jpeg)
(2)出入口
![](https://i-blog.csdnimg.cn/direct/f04cccb70e444e10aef1dbfccc664fe1.jpeg)
(3)主要路口
![](https://i-blog.csdnimg.cn/direct/892175370f6246be9a470e99d64ee087.jpeg)
(4)点位要求
前端摄像机分辨率须大于等于1920*1080,小于等于4096*2160
检测人时,人的头肩像大小至少为80*80个像素点
检测人脸时,人脸的大小至少为24*24个像素点
检测人脸属性时,人脸的大小至少为50*50个像素点
对象 | 摄像机角度要求(小于) | 目标像素要求(大于等于) |
人员 | 左右360度,俯角45度 | 80*80(头肩) |
人脸检测 | 左右60度,俯角15度 | 24*24 |
人脸属性 | 左右15度,俯角15度 | 50*50 |
2车辆参考场景
(1)车辆卡口
![](https://i-blog.csdnimg.cn/direct/fbc1299bdb1a46ceb3473dbb53d4ef31.jpeg)
(2)车辆出入口
![](https://i-blog.csdnimg.cn/direct/4dd1dfc6c97448ed9d79853ce9e5632a.jpeg)
(3)主要路口
![](https://i-blog.csdnimg.cn/direct/e63504bd213441eb9468b08543509fd5.jpeg)
四、发展
1、技术挑战
尽管视频结构化分析技术具有广阔的应用前景,但其实现也面临一些挑战:
(1)识别算法开发难
由于视频内容的复杂性和多样性,开发准确高效的识别算法具有一定难度。
(2)大规模数据处理难
对于大规模的视频数据进行结构化处理,需要强大的计算能力和存储资源支持。
(3)环境干扰大
视频结构化分析技术对环境比较敏感,光线、杂物、恶劣天气、晃动等因素都可能影响识别效果。
2、未来展望
视频结构化分析技术是一种重要的视频处理技术,它通过智能分析将视频内容转化为结构化数据,提高了视频内容的可搜索性和可分析性,为智能监控、智能交通、智能安防等领域的发展提供了有力支持。
随着人工智能技术的不断发展,视频结构化分析技术将在更多领域得到应用和推广。未来,该技术有望实现更高效、更精准的视频内容分析和处理,为各个行业提供更强大的视频智能应用支持。
文章正下方可以看到我的联系方式:鼠标“点击” 下面的 “威迪斯特-就是video system 微信名片”字样,就会出现我的二维码,欢迎沟通探讨。