海思 NNIE 芯片开发笔记

NNIE 是 Neural Network Inference Engine 的简称，是海思媒体 SoC 中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，可以理解为 CNN 加速器，即 NPU 模块，支持现有大部分的公开网络。

海思提供的软件资源包主要包括 PC 端模型量化编译及仿真工具 + 板端模型推理 SDK（NNIE 和 runtime）。注意：NNIE 配套软件及工具链仅支持以 Caffe 框架，使用其他框架的网络模型需要转化为 Caffe 框架下的模型。

一，PC端工具链

PC 端工具链资源主要包括以下部分：

• nnie_mapper(tool/nnie/linux/mapper)目录：简称 mapper，实现 caffe 模型优化及编译的功能，将训练好的 caffe 模型编译成能在 Hi35xx 芯片或者在仿真库中可以运行的数据指令文件。
• 仿真库(software\x64目录)：PC 端仿真结果与芯片上运行结果完全一致，包括时间、带宽等。
• 仿真 sample 工程：包含仿真 sample 源代码供开发者学习参考。
• 模型包（software\data）: 包含若干 sample