:https://blog.csdn.net/avideointerfaces/article/details/88585654
芯片系列介绍
海思AI芯片Hi35xx系列具体包括的型号Hi3559A V100, Hi3559C V100, Hi3519A V100, Hi3516C V500以及Hi3516D V300。下面要讲的资料,尤其AI部分应该是该系列通用的。
我们项目采用的是Hi3519AV100, 所以后续文章都是以该款芯片为学习和研究目标。 海思芯片命名有些坑的, 一不小心就会弄错,Hi3519 V100以及Hi3519 V101是不带AI硬件引擎功能的,而Hi3519A V100才是AI芯片,看到没,一个字母之差,带A和不带A的区别,功能却相差很大。
3519A里面有一个硬件NNIE(Neural Network Inference Egine),这个是寒武纪IP(下一代估计就要用海思自己开发的IP了),顾名思义,它可以定点并行运算来进行深度学习算法模型推理。
资料介绍及梳理
目前Hi35xx系列的最新资料为010版本,光压缩包有12G左右,里面内容很多,刚看时会有点发蒙,无从下手。所以有必要大体介绍下,从而快速找到自己想要的资料,当然这里仍然以AI为重心来讲解。
资料分为两个大部分:
软件开发包(Software)
如上图所示, 软件开发包又可以分为三个小部分:
1)arm-himix200 它是交叉编译器,运行linux环境中
2)Hi3519A V100R001C02SPC010 它的子目录01.software\board下面有3519Av100的软件开发工具包Hi3519AV100_SDK_V2.0.1.0.tgz, 非常重要。 此外01.software\pc子目录下一些如uboot烧写,tune PQ之类的工具。
3)它解压后有个和AI相关的重要目录:HiSVP_PC_V1.2.0.5, 里面有nnie的转换,仿真等工具软件。接下来的文章会重点介绍它们。
文档(Doc)
它有英文版和中文版的,这里只介绍中文版。
就AI而言, 重点是下面两篇文档(01.software\board\SVP\),写的非常详细,尤其是《HiSVP 开发指南.pdf》里面介绍了NNIE相关的工具软件如何在windows或linux下搭建起来。
术语介绍
最后把常用容易糊涂的术语这里说明一下:
MPP: Media Processing plaform 多媒体处理平台 和 音视频H264编码等相关
IPC: Internet Protocol Camera 网络摄像机
LDC: Lens Distortion Correction 镜头畸变校正
AI: Auto Iris Control 自动光圈控制 这里不是我们所说的人工智能啊
VPSS: video process sub-system 视频前处理单元
VEDU: Video Encoder Unit 视频编码单元
IVE: Intelligent Video Engine 智能加速引擎 常用图像处理 视觉算法的硬件处理单元 不要和AI引擎NNIE 混淆
DPU: Depth Process Unit 深度信息处理单元 用来双目三维建模的。