CNN量化-嵌入式移植

最新推荐文章于 2024-06-22 21:43:28 发布
最新推荐文章于 2024-06-22 21:43:28 发布
阅读量1.8k 收藏 27
点赞数 3
文章标签： 机器学习 嵌入式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiyayiya557/article/details/106715166
版权

参考文章：

深度学习框架之间的模型相互转换

TensorFlow Lite初次尝试

https://www.jianshu.com/p/62d5184e581a

Pytorch 和Tensorflow之间的相互转化

https://www.jianshu.com/p/633c7d1c5cff

一行代码切换TensorFlow与PyTorch，模型训练也能用俩框架

https://baijiahao.baidu.com/s?id=1639028277077254350&wfr=spider&for=pc

从PyTorch到Mxnet ，对比7大Python深度学习框架

http://www.360doc.com/content/19/0309/14/43284313_820288744.shtml

mxnet模型可视化

https://blog.csdn.net/helloworld_fly/article/details/107891833

mxnet网络结构可视化——有用！

https://blog.csdn.net/qq_22764813/article/details/96271142

深度学习模型转换之Mxnet转ONNX - GrantWong - 博客园

https://www.cnblogs.com/wanggangtao/p/13180406.html

网络计算量分析

CNN模型复杂度（FLOPS、MAC）、参数量与运行速度（较好，详细，暂未看）

https://blog.csdn.net/weixin_39833897/article/details/105807172

【深度学习-CNN】CNN中的参数与计算量（较好，详细）

https://blog.csdn.net/dzkd1768/article/details/72763659

从TensorFlow Lite源码入门CNN量化

https://zhuanlan.zhihu.com/p/42811261

浮点峰值那些事儿

https://zhuanlan.zhihu.com/p/28226956

深度学习CPU，GPU，NPU，TPU以及其计算能力单位

https://blog.csdn.net/u010451780/article/details/104720082

CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的

https://www.zhihu.com/question/65305385

Flops计算方式

https://blog.csdn.net/u011808673/article/details/88838717

rk3399pro NPU 算力测试

https://blog.csdn.net/bh_binghu/article/details/90379602

PyTorch转Onnx转TensorRT、NCNN、ARMNN。。。

python3环境下pytorch模型转onnx部署tensorRT（实践经验，较简单）

https://blog.csdn.net/u012114438/article/details/104558119/

从PyTorch到ONNX再到TensorRT（实践经验，较简单，有代码）

https://blog.csdn.net/qq_29159273/article/details/99851136

深度学习模型移植pytorch->onnx->ncnn->android（实践经验，完整，有代码，好）

https://blog.csdn.net/hmzjwhmzjw/article/details/94027816

使用ONNX部署深度学习和传统机器学习模型（未实践，在PC端未使用onnx模型把算法跑起来）

https://www.jianshu.com/p/c1e0efe6482f

onnx-simplifier、netron优化、可视化工具，可用pip install onnx-simplifier，pip install netron

https://github.com/daquexian/onnx-simplifier

https://github.com/lutzroeder/netron

轻量好用的神经网络模型可视化工具netron

https://blog.csdn.net/qqqzmy/article/details/86060131

tensorrt_demos实操代码

https://github.com/jkjung-avt/tensorrt_demos

https://github.com/onnx/onnx-tensorrt

onnx、pytorch中文教程

https://www.cntofu.com/book/169/docs/1.0/ONNXLive.md

https://pytorch.apachecn.org/docs/1.2/onnx.html

Pytorch2onnx实战（入门级）

https://blog.csdn.net/Creama_/article/details/105033824

Pytorch2onnx2Tensorflow的环境准备win10（入门级）

https://blog.csdn.net/Creama_/article/details/105024840

onnx部署方法（不实用）

ai-deployment

https://github.com/aipredict/ai-deployment

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

https://github.com/microsoft/onnxruntime

ONNX_Runtime_Perf_Tuning.md

https://github.com/microsoft/onnxruntime/blob/master/docs/ONNX_Runtime_Perf_Tuning.md

TensorRT介绍（针对NVIDIA的部署优化库）

TensorRT 介绍（详细+实战）

https://www.cnblogs.com/qccz123456/p/11767858.html

[深度学习]TensorRT为什么能让模型跑快快（介绍性）

https://zhuanlan.zhihu.com/p/64933639

NVIDIA Deep Learning TensorRT Documentation（官方教程）

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html

NCNN、TNN与MNN介绍

Ncnn使用详解(1)——PC端

https://blog.csdn.net/qq_36982160/article/details/79929869

Ncnn使用详解(2)——Android端

https://blog.csdn.net/qq_36982160/article/details/79931741

腾讯ncnn框架和阿里巴巴MNN框架(含使用教程链接)--工程化的曙光

https://blog.csdn.net/weixin_42263508/article/details/89886182

框架源码下载及介绍（Tencent、alibaba两个账户下有不少有用的资料）

https://github.com/Tencent/ncnn

https://github.com/alibaba/MNN

https://github.com/Tencent/TNN

https://github.com/XiaoMi/mace

深度学习框架大PK：TNN决战MNN，ncnn依旧经典

https://blog.csdn.net/weixin_42137700/article/details/107137353

关于端侧推理的一些框架

https://blog.csdn.net/lixuejun2008/article/details/103897626

开源框架-腾讯优图TNN-移动端高性能、轻量级推理框架

https://blog.csdn.net/yangzijiangtou/article/details/106722904

ncnn编译和使用

protobuf版本冲突以及解决办法

https://blog.csdn.net/qq_41953012/article/details/106792245

use-ncnn-with-alexnet.zh（官方教程）

https://github.com/Tencent/ncnn/wiki/use-ncnn-with-alexnet.zh

ncnn模型加载的三种方式

https://blog.csdn.net/Enchanted_ZhouH/article/details/106063552

Caffe模型转NCNN后生成param与bin文件及相关NCNN源码解析（分析ncnn模型与pytorch模型之间的误差用）

https://blog.csdn.net/yufeilongyuan/article/details/106322613

自上而下解读ncnn系列（1）：加载param模型和bin文件前向传播（模型载入和网络重构，代码解析，分析ncnn源码用）

https://blog.csdn.net/hanzy88/article/details/100156252

FAQ-ncnn-produce-wrong-result（非常实用，必备）

https://github.com/Tencent/ncnn/wiki/FAQ-ncnn-produce-wrong-result

caffeModels--models-caffes-大全

https://www.cnblogs.com/leoking01/p/7123154.html

FPGA移植CNN算法

CNN算法FPGA移植

https://www.cnblogs.com/sepeng/category/1178632.html

 

ncnn PC端和交叉编译

myBuildx86.sh

#!/bin/bash
set -e # Exit immediately if a command exits with a non-zero status.
BuildDir=build_x86_64
if [ ! -d "$BuildDir" ]; then
  # Take action if $BuildDir doesn‘t exists. 
  echo "create ${BuildDir}..."
  mkdir -p ${BuildDir}
fi
cd ${BuildDir}

export VULKAN_SDK=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/vulkansdk-linux-x86_64-1.1.114.0/x86_64

cmake -DNCNN_VULKAN=ON -DCMAKE_INSTALL_PREFIX=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/ncnn_x86_64-install ..

make -j$(nproc) install

# cd build_x86_64/examples/
# ./squeezenet Dog.jpg

myBuildARM.sh

#!/bin/bash
set -e # Exit immediately if a command exits with a non-zero status.
BuildDir=build_arm_x64_proto
if [ ! -d "$BuildDir" ]; then
  # Take action if $BuildDir doesn‘t exists. 
  echo "create ${BuildDir}..."
  mkdir -p ${BuildDir}
fi
cd ${BuildDir}

echo "building ncnn_arm_x64"
export LD_LIBRARY_PATH=/opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux/usr/lib
source /opt/fsl-imx-xwayland/4.14-sumo/environment-setup-aarch64-poky-linux
export PATH=$PATH:/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/bin/
export PKG_CONFIG_PATH=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/pkgconfig/

cmake .. \
    -DCMAKE_TOOLCHAIN_FILE=../toolchain.cmake \
    -DCMAKE_INSTALL_PREFIX=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/ncnn_arm_x64-install-proto \
    -DPROTOBUF_ROOT=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install \
    -DPROTOBUF_INCLUDE_DIRS=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/include \
    -DPROTOBUF_LIBRARY_DEBUG=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/libprotobuf.so.15.0.1 \
    -DPROTOBUF_LIBRARY_RELEASE=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/libprotobuf.so.15.0.1

make -j$(nproc) install

# cd build_x86_64/examples/
# ./squeezenet Dog.jpg

toolchain.cmake

# this is required
SET(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR aarch64)

# specify the cross compiler
SET(CMAKE_C_COMPILER   /opt/fsl-imx-xwayland/4.14-sumo/sysroots/x86_64-pokysdk-linux/usr/bin/aarch64-poky-linux/aarch64-poky-linux-gcc)
SET(CMAKE_CXX_COMPILER /opt/fsl-imx-xwayland/4.14-sumo/sysroots/x86_64-pokysdk-linux/usr/bin/aarch64-poky-linux/aarch64-poky-linux-g++)

# cache flags
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}" CACHE STRING "c flags")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}" CACHE STRING "c++ flags")

set(Protobuf_PREFIX_PATH
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/include"
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/lib"
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/bin"
)
list(APPEND CMAKE_PREFIX_PATH "${Protobuf_PREFIX_PATH}")

SET(CMAKE_SYSROOT /opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux)

# where is the target environment 
SET(CMAKE_FIND_ROOT_PATH  /opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux)

# specify the compiler flag
# SET(CMAKE_C_FLAGS  -O3 -mtune=cortex-a35 -mcpu=cortex-a35 -march=armv8-a+fp+simd+crc+crypto)
# SET(CMAKE_CXX_FLAGS  -std=c++11 -O3 -mtune=cortex-a35 -mcpu=cortex-a35 -march=armv8-a+fp+simd+crc+crypto)

set(CMAKE_C_FLAGS "-march=armv8-a")
set(CMAKE_CXX_FLAGS "-march=armv8-a")

# search for programs in the build host directories (not necessary)
SET(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
# for libraries and headers in the target directories
SET(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
SET(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)

 

yiyayiya557
关注
  • 3
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
边缘计算ARMNN(一)：ARM-ARMNN-ComputeLibrary rk3399 编译配置
Jeff_ROS的博客
04-23 2799
开始环境配置之前，小编要和伙伴们啰嗦一下，热热身。小编一直秉承：学习知识既要见大树，也要见森林！ 深度学习发展至今，边缘计算是其非常重要的一部分。那什么是边缘计算？小编的理解简化为大白话即是：让深度网络在终端设备上跑起来，满足精度、稳定性、实时性、成本等需求。稳定性是前提，其他需求相互制衡。就目前而言，边缘计算的发力点主要是三个方面，一是探索、研究并训练合适的网络模型，二是裁剪网络模型，包括减少参数、量化计算等，三是在边缘设备上加速。 深度学习的软件平台主流的有tensorflow pytorch ca
交叉编译ARM平台、移植ArmNN
yiyayiya557的博客
07-01 1857
参考文章： 检查lib文件的软连接方向： ls -l libboost_system.so 进入板子linux系统： ssh root@10.6.5.134 ping 10.6.5.134
模型量化5：onnx模型的静态量化和动态量化【使用 ONNXRuntime 内置的量化工具对 ONNX 模型进行静态量化和动态量化】
最新发布
u013250861的博客
06-22 1192
ONNXRuntime 中的量化是指 ONNX 模型的 8 bit 线性量化。Scale 是一个正实数，用于将浮点数映射到量化空间，计算方法如下：Zero_point 表示量化空间中的零。重要的是，浮点零值在量化空间中可以精确地表示。这是因为许多 CNN 都使用零填充。如果在量化后无法唯一地表示 0，则会导致精度误差。
ARM平台NEON优化
wsy1234567890的博客
11-11 623
ARM平台NEON优化 目前比较简单的、适合新手、贴近C语言的方式：NEON-intrinsic 方式，没有之一。 想掌握neon优化？赶紧收藏！一步一步下去，这里全是精选的 传送门 如果你想了解一些背景、综合知识，请打开： ARM底层汇编优化之NEON优化 - 概述（基础入门 ） 如果你想看一些寄存器、举例实现的，请看： 神经网络arm neon加速实现 如果你需要了解都有哪些指令分类，给你转载一篇文章： https://blog.csdn.net/emsoften/article
深度学习框架大PK：TNN决战MNN，ncnn依旧经典
qq_15821487的博客
03-18 933
参考：https://blog.csdn.net/weixin_42137700/article/details/107137353
Arm NN 成功适配 openEuler Embedded，提供高性能神经网络推理能力
openEuler_的博客
06-01 474
近期，RISC-V SIG 完成了 Arm NN 在 openEuler Embedded 系统的适配，于 2023 年 1 月合入系统构建工程代码库，经测试验证可用，实现了神经网络加速库在 openEuler Embedded 嵌入式系统上的加速和优化。系统构建工程下载地址：https://gitee.com/opene...
xilinx-tiny-cnn.zip
04-23
3. **模型量化**：为了适应FPGA的有限硬件资源，TinyCNN支持权重和激活的量化，这使得模型可以使用更小的数据类型表示，进一步节省了内存。 4. **模型压缩**：通过剪枝、蒸馏等技术，TinyCNN允许开发者压缩模型大小...
tflite-micro:适用于微控制器的TensorFlow Lite
04-17
C++是一种强大的、面向对象的编程语言，被广泛用于系统软件、游戏开发以及嵌入式系统，因为它的效率和可移植性。TFLM选择C++作为基础，是因为它能很好地适应微控制器的有限资源环境，同时为开发者提供了丰富的工具和...
embeded_cnn:STM32f0上的卷积神经网络
04-12
文件"embeded_cnn-main"可能是项目的主要代码或配置文件，包含了将训练好的CNN模型移植到STM32f0的具体实现。在实际开发过程中，开发者需要关注模型的精度与资源消耗之间的平衡，以及如何有效地将模型部署到目标硬件...
cpp-ESPWHO是一个基于ESP32的人脸检测和识别平台
08-16
3. **模型优化**：考虑到ESP32的资源限制，需要对模型进行剪枝或量化，降低模型大小，以适应微控制器的内存和计算能力。 4. **移植模型**：将优化后的模型部署到ESP32上，并编写相应的驱动程序和控制逻辑。 5. **...
45.SqueezeNet详细解读 - 花有重开日 人无再少年 - CSDN博客1
08-03
SqueezeNet是一种轻量级的卷积神经网络（CNN），其设计目的是在保持高精度的同时大幅减少模型的参数数量，从而提高模型的效率和可移植性。该网络的核心创新是引入了“Fire Module”结构，这使得SqueezeNet能够在有限...
推荐使用Arm NN：高性能机器学习引擎
gitblog_00048的博客
05-15 353
推荐使用Arm NN：高性能机器学习引擎 项目地址:https://gitcode.com/ARM-software/armnn Arm NN 是一款专为Android和Linux平台设计的顶级机器学习（ML）推理引擎，它充分利用了Arm Cortex-A处理器和Mali GPU的优势，提供了极致的性能。作为一款开放源码的SDK，Arm NN旨在填补现有的神经网络框架与高效能Arm IP之间的鸿...
Armnn(v21.05)使用方法及部分源码理解
weixin_41680653的博客
12-24 2946
工作原因需要使用 Armnn 进行神经网络推理，之前使用 tensorflow2 的 detection API训练了自己SSD模型，转换成tflite以后使用 tensorflow lite 进行推理，效果还可以，但是部署到 Armnn 上却出现了问题。报错： what(): MemCopyQueueDescriptor: input->10 & output->40 must have the same number of elements. 用tflite...
arm汇编解析—tengine winograd_nhwc卷积实现
独行侠
07-08 784
与xnn/qnn卷积的异同点 tengine nhwc的实现跟qnn/xnn的卷积很类似， 区别的地方： 1、分块大小不同，tengine是4x12的分块，xnn/qnn一般是4x4或4x8 (指浮点引擎) 2、winograd毕竟在kernel维度不需要累加，只需在channel维度累加即可，因此实现的时候遍历输入通道求和即可 相似的地方： 1、kernel的pack都是按照nchw的维度，即输出通道，然后是输入通道，最后是kernelsize维度 2、输入的pack方式也很相似，只不过te
37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署
sxj731533730
01-20 8547
基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题 一、首先我fork了大佬的代码，查阅主代码结构是华为分类垃圾的源码,然后作者参考了swin_transformer的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub （1）首先将模..
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
weixin_41838259的博客
06-27 1918
YOLOv6 ORT/MNN/TNN/NCNN C++推理部署
模型转换、模型压缩、模型加速工具汇总
05-01 1236
官网链接上图展示了MMdnn的主要功能。MMDNN是一套帮助用户在不同的深度学习框架之间进行交互操作的工具。例如，模型转换和可视化。转换caffe、keras、mxnet、tensorflow、cntk、pytorch onnx和coreml之间的模型。简而言之，通过这个工具，我们可以方便的将某一个框架训练出来的模型转换成另外一个框架所支持的模型，图中基本上包含了当前所有主流的深度学习训练框架，包括Tensorflow、Pytorch、Caffe、MxNet等。除此之外，图中包含了一个关键的概念，那就是。
（大集合）嵌入式端的神经网络算法部署和实现综合
空有精品无人问，倒也自然
03-28 9174
介绍关于 ARM NN、CMSIS NN 和 K210 等嵌入式端的神经网络算法的部署和实现。
cnn fast-cnn faster-cnn
01-05
CNN（卷积神经网络）是一种深度学习模型，用于图像识别和计算机视觉任务。它通过卷积层、池化层和全连接层等组件来提取图像特征并进行分类。 Fast R-CNN（快速区域卷积神经网络）是一种改进的目标检测算法，它在传统的R-CNN算法基础上进行了优化。Fast R-CNN通过共享卷积特征提取来减少计算量，并引入了RoI池化层来提取候选区域的特征。相比于R-CNN，Fast R-CNN在速度和准确性上都有所提升。 Faster R-CNN（更快的区域卷积神经网络）是在Fast R-CNN的基础上进一步改进的目标检测算法。Faster R-CNN引入了RPN（区域生成网络）来替代selective search进行候选区域的提取，从而实现了端到端的训练模式。相比于Fast R-CNN，Faster R-CNN在目标检测的速度上有了更大的提升。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值