安卓 Neural Networks API 释疑

NNAPI 是什么？

Android Neural Networks API（以下简称 NNAPI） 是 NDK 中的一套 API，由 C 语言实现，头文件见 NeuralNetworks.h。

设计 NNAPI 的初衷是，扮演底层平台的角色，支撑上层的各种机器学习框架（TensorFlow Lite、Caffe2 等）高效的完成推理计算，甚至是构建/训练模型。

NNAPI 有两个显著特征：

• 内置于安卓系统，从 8.1 系统开始出现于 NDK 中；
• 能够利用硬件加速，使用安卓设备的 GPU/DSP 或各种专用人工智能加速芯片完成神经网络的推理运算，大大提高计算效率；

NNAPI 的应用场景是什么？

首先，在 8.1 （API level 27）及更高版本系统上才能使用该功能。

其次，NNAPI 是给机器学习框架和工具库调用的，理想情况下，各种机器学习框架在内部将构建模型、训练模型、推理运算等操作交由 NNAPI 完成，而 NNAPI 会根据安卓设备的硬件性能，适当的将这些繁重的计算部署到合适的计算单元（CPU & GPU & DSP），从而使用硬件加速功能完成推理运算。

对于应用开发商，谷歌官方推荐其不要直接使用 NNAPI，而是只与 TF Lite 之类的机器学习框架打交道，构建出适用于 TF Lite 的模型并部署到安卓设备上，其余的工作交给 TF Lite 和 NNAPI 完成。

当然，普通的开发者同样可以按照 NDK 的开发量流程来开发基于 NNAPI 的应用（参见 nn_sample），或者利用其封装出自己的机器学习库（参见 DNNLibrary）。

NNAPI 的工作原理是什么？