在高通平台的cpu/gpu/dsp/npu上运行神经网络模型

最新推荐文章于 2025-07-03 20:15:31 发布
最新推荐文章于 2025-07-03 20:15:31 发布
阅读量6.2k 收藏 21
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lgfun/article/details/100160055
本文介绍了高通提供的Snapdragon Neural Processing Engine (SNPE) SDK，用于在高通CPU、GPU和DSP上运行神经网络模型。通过SNPE，开发者可以将Caffe、TensorFlow等平台的模型转换为DLC格式，并进行量化、压缩操作，以充分利用硬件资源，提高执行效率。SNPE支持模型训练后的DLC文件转换，量化以及在不同计算核心上的执行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了能在高通的gpu/dsp上运行神经网络，高通提供了一套sdk:
https://developer.qualcomm.com/docs/snpe/overview.html
通过这套sdk,可以把caffe/tensorflow等平台的模型转成.dlc格式的离线模型，可选地，还可以对模型进行量化、压缩等操作。
通过这套sdk，可以轻松地在高通的gpu/dsp上运行神经网络，充分利用硬件资源。

SNPE简介：

Purpose

本文档提供了SnapdragonTM神经处理引擎（SNPE）软件开发工具包（SDK）用户指南和API参考指南。

Capabilities

Snapdragon神经处理引擎（SNPE）是用于执行深度神经网络的Qualcomm Snapdragon软件加速运行时。 使用SNPE，用户可以：

执行任意深度的神经网络

在SnapdragonTM CPU，AdrenoTM GPU或HexagonTM DSP上执行网络。
在x86 Ubuntu Linux上调试网络执行
将Caffe，Caffe2，ONNXTM和TensorFlowTM模型转换为SNPE深度学习容器（DLC）文件
将DLC文件量化为8位定点，以便在Hexagon DSP上运行
使用SNPE工具调试和分析网络性能
通过C ++或Java将网络集成到应用程序和其他代码中

最低0.47元/天 解锁文章

200万优质内容无限畅学
高通平台开发系列讲解（AI篇）SNPE工作流程介绍
内核笔记
12-17 1707
📢本篇章主要介绍SNPE工作流程
性能优化-高通的Hexagon DSP和NPU
发狂的小花的博客
01-23 5534
手机必须处理电信和视听处理，同时最大限度地延长电池寿命。数字信号处理器 (DSP) 使用专用硬件从 CPU 卸载这些任务，从而降低功耗。高通公司的 Hexagon 在公司 Snapdragon 产品中卸载信号处理方面有着悠久的历史。为了应对近期机器学习应用的兴起，高通正在为 Hexagon 添加矩阵乘法功能。
高通SNPE（Snapdragon Neural Processing Engine）技术简介
sundaygeek的专栏
02-11 937
SNPE（Snapdragon Neural Processing Engine）是高通（Qualcomm）专为其Snapdragon平台开发的AI推理引擎，旨在优化和加速在Snapdragon芯片上运行的深度学习模型。SNPE支持多种AI框架（如TensorFlow、Caffe、ONNX），并提供了硬件加速（CPU、GPU、DSP）以实现高效的AI推理。如果你想使用SNPE进行开发，通常需要基于高通的Snapdragon开发板或设备。
SoC 内的 CPU、GPU、DSP、NPU 协同执行结构图解析：多异构协同的最新实战体系
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-26 1309
随着移动端 AI 能力迅速演进，SoC（System on Chip）内部的多种异构计算单元（CPU、GPU、DSP、NPU）之间的协同执行能力成为衡量芯片智能算力的关键指标。本文基于截至 2025 年 5 月最新主流国产芯片（如海思昇腾、地平线旭日、联发科天玑、高通骁龙 8 Gen 系、寒武纪思元等）在实际落地应用中的公开结构与技术资料，深入解析 CPU-GPU-DSP-NPU 协同执行的体系结构、执行路径与调度逻辑。文章结合 Android NNAPI、Vulkan Compute、自定义调度器等工程实
推理端框架简介 高通SNPE 神经网络处理引擎 阿里巴巴 MNN 腾讯 FeatherCNN 端侧推理引擎 卷积计算优化 卷积计算优化
万有文的博客
04-03 2011
高性能计算(High performance computing， 缩写HPC)指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，比如那些来自 InfiniBand 或 Myrinet 的网络互连。这个Model是指计算机上的一个应用，它占用了两类最主要的资源：算术逻辑单元的计算资源，存储器的带宽资源。
高通SNPE框架简介
热门推荐
sundaygeek的专栏
08-29 2万+
Purpose 本文档提供了SnapdragonTM神经处理引擎（SNPE）软件开发工具包（SDK）用户指南和API参考指南。 Capabilities Snapdragon神经处理引擎（SNPE）是用于执行深度神经网络的Qualcomm Snapdragon软件加速运行时。 使用SNPE，用户可以： 执行任意深度的神经网络 在SnapdragonTM CPU，AdrenoTM GPU或...
高通SNPE
u011994454的博客
11-09 3148
DL Container Loader: SNPE使用后缀为dlc的模型文件，提供了模型load函数。 Model Validation: 检查输入模型与所选择的运行后端是否合法。 Runtime Engine: 选择运行模式的API，包括CPU，GPU，DSP和AIP四种运行模式。 Partitioning Logic: 模型处理API，包括检查网络layer的合法性，调度网络的runtime。 CPU Runtime：CPU运行模型，支持32-bit和8-bit量化模型。 GPU Runtime：GPU
高通QNN/SNPE
Mike
07-17 872
SNPE/QNN 使用_高通qnn-CSDN博客高通SNPE框架简介-CSDN博客snpe流程扫盲_snpe c++-CSDN博客SNPE 的安装和简单使用_snpe环境安装-CSDN博客SNPE教程一：基本概念-CSDN博客基于高通SNPE推理引擎的yolov5目标检测算法_snpe部署yolo v5-CSDN博客
【Qualcomm】高通SNPE框架简介、下载与使用
静谧、淡雅
09-23 1601
高通SNPE框架简介、下载与使用
基于 NPU/DSP 的图像模型推理框架：SNPE、APU 与 Neural Engine 实战解析
最新发布
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
07-03 807
在移动影像系统中，AI 图像算法的实时部署依赖于 NPU/DSP 等专用异构计算单元的高效调度。为充分发挥芯片能力，不同平台推出了各自的推理框架，如高通的 SNPE、联发科的 APU Toolchain，以及 Apple 的 Neural Engine 管理体系。本文结合多款 SoC 芯片的实战部署经验，系统解析上述三种主流推理框架的核心架构、部署流程、模型适配路径与工程调优策略，帮助开发者理解异构计算背后的图像推理机制，提升图像模型在端侧落地的性能与稳定性。
算能 TPU、高通 DSP、英伟达 GPU、RK NPU、XILINX DPU 在 AI 应用中的核心区别
浩瀚之水的专栏
04-03 333
TPU是谷歌推动AI算力边界的关键技术，尤其适合需要极致性能与能效的大规模模型场景。开发者需根据框架兼容性、模型规模及成本权衡选择TPU或GPU方案。
有了NPU，还要DSP吗？
吴建明wujianming_110117
07-07 788
有了NPU，还要DSP吗？ • 其实都是针对某种算法进行加速的处理器，不过NPU针对的是那些神经元算法，DSP针对的是信号处理算法，二者各有侧重 NPU采用普林斯顿结构。 DSP采用哈弗结构。 各自有自己的指令系统。 DSP是专注数字信号处理的，即使DSP处理器其实也是分了很多针对不同类型的信号的不同型号类型，比如有音频信号的、图像的等待 NPU是专注于神经网络处理的，处理不同的数据。 用通用架构的CPU处理AI和用NPU处理AI，速度是不同，但为什么还是离不开CPU呢，因为NPU只能处理AI计算，其它的也
SNPE（Snapdragon Neural Processing Engine）框架
浩瀚之水的专栏
11-03 1704
SNPE旨在提供一套完整的深度学习推理解决方案，支持多种深度学习模型和硬件平台。它充分利用底层硬件的优势，提升深度学习推理的效率和速度，为移动端和物联网设备上的深度学习应用提供高效的支持。SNPE（Snapdragon Neural Processing Engine），是高通公司推出的面向移动端和物联网设备的深度学习推理框架。SNPE提供了一套完整的深度学习推理框架，能够支持多种深度学习模型。
高通AI应用程序开发1：SNPE 概述
weixin_62707802的博客
09-24 1141
模型训练是在流行的深度学习框架上进行的（高通®神经处理SDK支持PyTorch、TFLite、ONNX和TensorFlow模型。）训练完成后，训练后的模型被转换为DLC文件，可以加载到高通®神经加工SDK运行时中。调用 snpe-dlc-quant 和 snpe-dlc-graph-prepare（用于向后兼容）将网络模型转换为可由Qualcomm®神经处理SDK加载的DLC文件。可选地量化DLC文件，以便在Hexagon DSP上运行。使用Qualcomm®神经处理SDK运行时加载并执行模型。
边缘计算：万字长文详解高通SNPE inception_v3推理实战
qq_18256855的博客
03-04 2647
SNPE服务器环境部署、神经网络推理
基于高通SNPE推理引擎的yolov5目标检测算法
weixin_43824759的博客
02-26 2171
基于高通SNPE推理引擎的yolov5目标检测算法。
解锁高通神经处理引擎：SNPE 模型部署与输出验证
weixin_38498942的博客
04-16 848
可以通过支持 SNPE 的应用程序（使用 SNPE C/C++ API 编写的应用程序）部署模型 DLC（量化或非量化）。（通过 input_list 文件），都会生成一个输出文件夹，其中包含保存为原始文件的输出张量，其大小将与模型的输出层匹配，如下图所示。SNPE SDK 提供 C/C++ API，用于创建/开发可在指定硬件（CPU、GPU 或 HTP）上加速运行模型的应用程序。工具（使用 C API 编写的应用程序），可以加载任意模型 DLC 并在提供的输入上执行它。在此示例中，输出保存到主机上的。
高通SNPE - 基准测试概述（1）
weixin_38498942的博客
10-20 1951
SNPE SDK附带的基准测试由一组python脚本组成，这些python脚本在目标Android / Linux嵌入式设备上运行网络并收集性能指标。它使用SDK包中的可执行文件和库，使用网络的一组输入和指向该输入组的文件在目标上运行DLC文件。 基准脚本的输入是JSON格式的配置文件。该SDK附带有一个配置文件，用于运行SNPE SDK中创建的AlexNet模型。鼓励SDK用户创建自己的配置文件，并使用基准脚本在目标上运行以收集计时和内存消耗度量。 该配置文件允许用户指定： 基准测试的名称（即AlexN
NPU运行onnx模型
01-16
### 如何在NPU上部署和运行ONNX模型 #### 准备工作 对于要在NPU（神经网络处理单元）上部署和运行ONNX模型，首先需要准备支持该功能的开发环境。ARM NN SDK能够加载由TensorFlow Lite或其他框架生成的模型，并针对特定硬件进行优化[^1]。 #### 加载与验证ONNX模型 要确保ONNX模型正确无误，在将其用于任何进一步的操作之前应该先对其进行验证。这可以通过Python中的`onnx`库来完成： ```python import onnx # 读取 ONNX 模型 onnx_model = onnx.load('resNet34.onnx') # 检查模型格式是否正确 onnx.checker.check_model(onnx_model) print('Model verified successfully') ``` 此过程有助于确认所使用的ONNX文件结构有效且符合预期标准[^2]。 #### 将ONNX模型转换为适配NPU的目标格式 不同厂商提供的工具链可能有所不同；例如，高通提供了SNPE SDK，它允许开发者将来自多个源（如Caffe或TensorFlow）的模型转化为`.dlc`格式以便于在其GPU/DSP设备上的执行[^3]。然而，当目标是通用类型的NPU时，则应考虑使用像ARM NN这样的解决方案来进行必要的转换和优化操作。 #### 编译优化后的模型供NPU使用 一旦选择了合适的SDK之后，下一步就是利用其内置的功能对导入的模型实施编译以及性能调整措施。这些步骤通常涉及但不限于量化、剪枝等技术手段以适应具体硬件特性并提高效率。对于ARM架构下的NPUs来说，这意味着创建一个经过特别定制化处理版本的原始ONNX模型，使其能更好地发挥ARM内核的优势。 #### 运行推理计算 最后一步是在实际环境中测试已编译好的模型能否正常运作。如果一切顺利的话，现在就可以通过调用相应API接口传入输入数据从而获得预测输出了。值得注意的是，某些情况下还需要额外编写一些辅助脚本来帮助完成整个流程自动化管理任务[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值