海思视频开发常见概念解析

wyg1335

已于 2022-06-13 14:56:06 修改

阅读量1.1k

点赞数

文章标签：音视频深度学习人工智能

于 2021-08-20 10:51:20 首次发布

本文链接：https://blog.csdn.net/wyg1335/article/details/119817984

版权

本文介绍了海思芯片在视频开发中的关键模块，包括IVE的智能分析加速，DPU的深度图计算，IVS的智能视频监控API，SVP平台的DSP加速以及NNIE的神经网络推理引擎。这些技术为视频诊断、周界防范、移动侦测等应用提供了硬件加速和高效处理能力。

摘要由CSDN通过智能技术生成

1.IVE（Intelligent Video Engine）是海思媒体处理芯片智能分析系统中的硬件加速模块。
用户基于IVE 开发智能分析方案可以加速智能分析，降低CPU 占用。当前IVE 提供的
算子可以支撑开发视频诊断、周界防范等智能分析方案。

2.DPU(Depth Process Unit)对输入的左图像和右图像经过校正和匹配计算得出深度图。
DPU分为校正(DPU_RECT)和匹配(DPU_MATCH)两个模块，同时使用，也可单独使
用。DPU_RECT 对输入的左图像和右图像进行校正。

3.IVS（Intelligent Video Surveillance）是海思媒体处理芯片解决方案中比IVE（Intelligent
Video Engine，智能加速引擎）更高层次的智能视频监控应用API。用户基于IVS可以
快速开发出相关智能应用。当前IVS 支持的智能应用有：MD（Motion Detection，移
动侦测）。

4.SVP（Smart Vision Processing）平台是海思媒体处理芯片智能视觉异构加速平台。DSP
（Digital Signal Process）是SVP 平台下的可编程硬件加速模块。用户基于DSP 开发智
能分析方案可以加速智能分析，降低CPU占用。

5.NNIE是Neural Network Inference Engine的简称，是海思媒体SoC中专门针对神经网络特
别是深度学习卷积神经网络进行加速处理的硬件单元，支持现有大部分的公开网络，
如Alexnet、VGG16、Googlenet、Resnet18、Resnet50等分类网络，Faster R-CNN、
YOLO、SSD、RFCN等检测网络，以及SegNet、FCN等场景分割网络。
目前NNIE配套软件及工具链仅支持以Caffe框架，使用其他框架的网络模型需要转化为
Caffe框架下的模型。

功能块	子功能	参考章节	功能描述
AE(Auto Exposure)	AE	3	根据自动测光系统获得当前图像的曝光量，再自动配置镜头光圈、sensor快门及增益来获得最佳的图像质量
AWB(Auto White Balance Correction)	AWB	4	AWB算法的功能是降低外界光源对物体真实颜色的影响，使得我们采集的颜色信息转变为在理想日光光源下的无偏色信息。
CCM(Color Correction Matrix)	CCM	5	通过一个色彩校正矩阵校正光谱响应的交叉效应和响应强度，使前端捕获的图片与人眼视觉在色彩上保持一致。
IMP(Image Processing)	Sharpe