Thundercomm EBX AI应用开发工具合集(二)

AIMET

介绍

通常情况下，模型是在像CPU和GPU这样的浮点数硬件上进行训练的。然而，当这些训练好的模型在支持定点精度操作的量化硬件上运行时，模型参数会从浮点精度转换为定点精度。举个例子，当在支持8位整数操作的硬件上运行时，训练模型中的浮点参数需要转换为8位整数。观察到，对于一些模型来说，在8位定点精度运行时会由于使用定点精度参数和定点精度操作引入噪声而导致精度损失。

AIMET是一个库，为训练好的神经网络模型提供先进的模型量化和压缩技术。它提供了一些功能，已被证明可以提高深度学习神经网络模型的运行时性能，同时降低计算和内存需求，并对任务准确性的影响最小化。AIME能够提高模型推理的性能，降低内存占用量，减低对内存带宽的需求以及减低系统的功耗。AIMET支持PyTorch、TensorFlow和ONNX模型。

下载链接

https://quic.github.io/aimet-pages/releases/latest/user_guide/index.html
https://github.com/quic/aimet

AIHUB

介绍

AI Hub是高通近期推出的一套以线上为主、线下为辅的效率工具，主要用来帮助用户快速地验证、转换和优化其AI模型，以及在用户指定的设备上评估优化后AI模型的性能（含推理延时和内存占用），加速用户AI模型部署至高通硬件平台上运行。借助高通推出的AI Hub，用户在部署AI模型之前，无需配置SNPE SDK或QNN SDK开发环境，手头上也无需有相应的高通设备，便可完成模型的验证、优化以及性能评估。AI Hub主要支持Android手机，也包括IoT设备、Auto设备、Xr设备、Compute设备以及Tablet设备等。

上图中，AI Hub后台是整个AI Hub的核心，它一方面为python模块qai-hub提供接口，供用户上传AI模型文件以进行编译优化和性能评估。另一方面管理和维护编译优化、性能评估对应的job，方便用户通过AI Hub网站查看各个job的详情，包括job的执行进度、job相关日志、优化后模型的可视化等，并提供转换或优化后模型文件的下载链接。同时还管理着以及线上高通设备集群，以为各个job选择合适的设备。
python模块qai-hub也是AI Hub的一个重要模块，它一方面直接提供命令（详情可以qai-hub --help）供用户和AI Hub交互以及向AI Hub提交job，另一方面提供了python接口供python程序调用以和AI Hub交互以及向AI Hub提交job，具体可以参考qai-hub-models中的示例程序，譬如resnet50模型。
python模块qai-hub-models是个开源模块，其github地址为https://github.com/quic/ai-hub-models，该模块包含了75+快100个常见开源模型的完整demo，通过它可以很容易完成模型的验证、模型的编译优化、模型的性能评估等。整个过程几条命令搞定，无需自己去配置环境、下载模型、数据集等。

AI Hub支持PyTorch、ONNX、AIMET和TensorFlow框架输出模型的编译优化，支持的运行时包括Android平台推荐的TensorFlow Lite、Windows平台推荐的ONNX Runtime、高通的芯片相关的contenx二进制（.bin格式文件，QNN SDK）以及高通的存在系统相关的模型库（.so/.dll格式文件，QNN SDK）。

下载链接

https://aihub.qualcomm.com/