为了能在高通的gpu/dsp上运行神经网络,高通提供了一套sdk:
https://developer.qualcomm.com/docs/snpe/overview.html
通过这套sdk,可以把caffe/tensorflow等平台的模型转成.dlc格式的离线模型,可选地,还可以对模型进行量化、压缩等操作。
通过这套sdk,可以轻松地在高通的gpu/dsp上运行神经网络,充分利用硬件资源。
SNPE简介:
Purpose
本文档提供了SnapdragonTM神经处理引擎(SNPE)软件开发工具包(SDK)用户指南和API参考指南。
Capabilities
Snapdragon神经处理引擎(SNPE)是用于执行深度神经网络的Qualcomm Snapdragon软件加速运行时。 使用SNPE,用户可以:
执行任意深度的神经网络
在SnapdragonTM CPU,AdrenoTM GPU或HexagonTM DSP上执行网络。
在x86 Ubuntu Linux上调试网络执行
将Caffe,Caffe2,ONNXTM和TensorFlowTM模型转换为SNPE深度学习容器(DLC)文件
将DLC文件量化为8位定点,以便在Hexagon DSP上运行
使用SNPE工具调试和分析网络性能
通过C ++或Java将网络集成到应用程序和其他代码中