昇腾应用案例体验：(5) 全目标结构化

昇腾AI应用，探索人工智能的无限可能，使能千行百业

全目标结构化

概述

全目标结构化旨在处理海量视频/图像等机器无法理解的非结构化数据，从中挖掘潜在有价值信息并将其结构化存储。本例基于 mxVision 提供的插件以及自开发的目标挑选、人脸挑选、视频跳帧插件实现整体业务流程，整体流程如下图所示。该流程主要由五部分组成：多路视频流解码、目标检测、目标锁定、目标信息抽取、以及结果序列化。其中视频内容处理环节中，各个特征提取及属性识别模块选取了基于 ResNet 结构的神经网络模型，目标检测模块则采用了 Yolov4-tiny 的网络结构模型，其中主要的计算任务都由 Ascend310 芯片来完成。本系统利用 mxVision 易于自定义开发的特性，使用户可以利用简易开发工具进一步开发自定义插件，从而拓展功能以适应自身业务需求。

流程图

1.视频解码：对输入的视频流进行解码操作（目前仅支持 .264 格式视频流），并输出可选 YUV 格式视频。

2.全目标检测：对视频内容进行目标检测，标记视频中出现的所有特定目标的具体位置以及所属类别。

3.多目标锁定/人脸锁定：目标锁定对视频中相同目标进行不间断识别。人脸锁定中提前对检测出的人脸进行了短特征提取，之后利用短特征可完成针对人脸更加精准的锁定。目标锁定后会进一步进行质量评估、过滤和对齐处理。

4.特征提取/属性识别：利用训练好的模型对处理完成后的各类目标图片进行特征提取和属性识别工作。

5.结果序列化：将所有结果即已完成结构化的信息进行序列化输出。