在高通平台的cpu/gpu/dsp/npu上运行神经网络模型

Deep Learning 专栏收录该内容
2 篇文章 0 订阅

为了能在高通的gpu/dsp上运行神经网络,高通提供了一套sdk:
https://developer.qualcomm.com/docs/snpe/overview.html
通过这套sdk,可以把caffe/tensorflow等平台的模型转成.dlc格式的离线模型,可选地,还可以对模型进行量化、压缩等操作。
通过这套sdk,可以轻松地在高通的gpu/dsp上运行神经网络,充分利用硬件资源。

SNPE简介:

Purpose

本文档提供了SnapdragonTM神经处理引擎(SNPE)软件开发工具包(SDK)用户指南和API参考指南。

Capabilities

Snapdragon神经处理引擎(SNPE)是用于执行深度神经网络的Qualcomm Snapdragon软件加速运行时。 使用SNPE,用户可以:

执行任意深度的神经网络

在SnapdragonTM CPU,AdrenoTM GPU或HexagonTM DSP上执行网络。
在x86 Ubuntu Linux上调试网络执行
将Caffe,Caffe2,ONNXTM和TensorFlowTM模型转换为SNPE深度学习容器(DLC)文件
将DLC文件量化为8位定点,以便在Hexagon DSP上运行
使用SNPE工具调试和分析网络性能
通过C ++或Java将网络集成到应用程序和其他代码中

Model Workflow在这里插入图片描述

模型训练在流行的深度学习框架上进行(SNPE支持Caffe,Caffe2,ONNX和TensorFlow模型。)训练完成后,训练的模型将转换为可加载到SNPE运行时的DLC文件。 然后,可以使用此DLC文件使用其中一个Snapdragon加速计算核心执行前向推断传递。

基本的SNPE工作流程只包含几个步骤:

将网络模型转换为可由SNPE加载的DLC文件。
可选择量化DLC文件以在Hexagon DSP上运行。
准备模型的输入数据。
使用SNPE运行时加载并执行模型。

参考:https://blog.csdn.net/mouse1598189/article/details/86695404

  • 2
    点赞
  • 0
    评论
  • 10
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

The Goat

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值