CNN量化-嵌入式移植

最新推荐文章于 2024-08-10 07:47:58 发布
最新推荐文章于 2024-08-10 07:47:58 发布
阅读量1.9k 收藏 27
点赞数 3
文章标签： 机器学习 嵌入式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiyayiya557/article/details/106715166
版权

参考文章：

深度学习框架之间的模型相互转换

TensorFlow Lite初次尝试

https://www.jianshu.com/p/62d5184e581a

Pytorch 和Tensorflow之间的相互转化

https://www.jianshu.com/p/633c7d1c5cff

一行代码切换TensorFlow与PyTorch，模型训练也能用俩框架

https://baijiahao.baidu.com/s?id=1639028277077254350&wfr=spider&for=pc

从PyTorch到Mxnet ，对比7大Python深度学习框架

http://www.360doc.com/content/19/0309/14/43284313_820288744.shtml

mxnet模型可视化

https://blog.csdn.net/helloworld_fly/article/details/107891833

mxnet网络结构可视化——有用！

https://blog.csdn.net/qq_22764813/article/details/96271142

深度学习模型转换之Mxnet转ONNX - GrantWong - 博客园

https://www.cnblogs.com/wanggangtao/p/13180406.html

网络计算量分析

CNN模型复杂度（FLOPS、MAC）、参数量与运行速度（较好，详细，暂未看）

https://blog.csdn.net/weixin_39833897/article/details/105807172

【深度学习-CNN】CNN中的参数与计算量（较好，详细）

https://blog.csdn.net/dzkd1768/article/details/72763659

从TensorFlow Lite源码入门CNN量化

https://zhuanlan.zhihu.com/p/42811261

浮点峰值那些事儿

https://zhuanlan.zhihu.com/p/28226956

深度学习CPU，GPU，NPU，TPU以及其计算能力单位

https://blog.csdn.net/u010451780/article/details/104720082

CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的

https://www.zhihu.com/question/65305385

Flops计算方式

https://blog.csdn.net/u011808673/article/details/88838717

rk3399pro NPU 算力测试

https://blog.csdn.net/bh_binghu/article/details/90379602

PyTorch转Onnx转TensorRT、NCNN、ARMNN。。。

python3环境下pytorch模型转onnx部署tensorRT（实践经验，较简单）

https://blog.csdn.net/u012114438/article/details/104558119/

从PyTorch到ONNX再到TensorRT（实践经验，较简单，有代码）

https://blog.csdn.net/qq_29159273/article/details/99851136

深度学习模型移植pytorch->onnx->ncnn->android（实践经验，完整，有代码，好）

https://blog.csdn.net/hmzjwhmzjw/article/details/94027816

使用ONNX部署深度学习和传统机器学习模型（未实践，在PC端未使用onnx模型把算法跑起来）

https://www.jianshu.com/p/c1e0efe6482f

onnx-simplifier、netron优化、可视化工具，可用pip install onnx-simplifier，pip install netron

https://github.com/daquexian/onnx-simplifier

https://github.com/lutzroeder/netron

轻量好用的神经网络模型可视化工具netron

https://blog.csdn.net/qqqzmy/article/details/86060131

tensorrt_demos实操代码

https://github.com/jkjung-avt/tensorrt_demos

https://github.com/onnx/onnx-tensorrt

onnx、pytorch中文教程

https://www.cntofu.com/book/169/docs/1.0/ONNXLive.md

https://pytorch.apachecn.org/docs/1.2/onnx.html

Pytorch2onnx实战（入门级）

https://blog.csdn.net/Creama_/article/details/105033824

Pytorch2onnx2Tensorflow的环境准备win10（入门级）

https://blog.csdn.net/Creama_/article/details/105024840

onnx部署方法（不实用）

ai-deployment

https://github.com/aipredict/ai-deployment

ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

https://github.com/microsoft/onnxruntime

ONNX_Runtime_Perf_Tuning.md

https://github.com/microsoft/onnxruntime/blob/master/docs/ONNX_Runtime_Perf_Tuning.md

TensorRT介绍（针对NVIDIA的部署优化库）

TensorRT 介绍（详细+实战）

https://www.cnblogs.com/qccz123456/p/11767858.html

[深度学习]TensorRT为什么能让模型跑快快（介绍性）

https://zhuanlan.zhihu.com/p/64933639

NVIDIA Deep Learning TensorRT Documentation（官方教程）

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html

NCNN、TNN与MNN介绍

Ncnn使用详解(1)——PC端

https://blog.csdn.net/qq_36982160/article/details/79929869

Ncnn使用详解(2)——Android端

https://blog.csdn.net/qq_36982160/article/details/79931741

腾讯ncnn框架和阿里巴巴MNN框架(含使用教程链接)--工程化的曙光

https://blog.csdn.net/weixin_42263508/article/details/89886182

框架源码下载及介绍（Tencent、alibaba两个账户下有不少有用的资料）

https://github.com/Tencent/ncnn

https://github.com/alibaba/MNN

https://github.com/Tencent/TNN

https://github.com/XiaoMi/mace

深度学习框架大PK：TNN决战MNN，ncnn依旧经典

https://blog.csdn.net/weixin_42137700/article/details/107137353

关于端侧推理的一些框架

https://blog.csdn.net/lixuejun2008/article/details/103897626

开源框架-腾讯优图TNN-移动端高性能、轻量级推理框架

https://blog.csdn.net/yangzijiangtou/article/details/106722904

ncnn编译和使用

protobuf版本冲突以及解决办法

https://blog.csdn.net/qq_41953012/article/details/106792245

use-ncnn-with-alexnet.zh（官方教程）

https://github.com/Tencent/ncnn/wiki/use-ncnn-with-alexnet.zh

ncnn模型加载的三种方式

https://blog.csdn.net/Enchanted_ZhouH/article/details/106063552

Caffe模型转NCNN后生成param与bin文件及相关NCNN源码解析（分析ncnn模型与pytorch模型之间的误差用）

https://blog.csdn.net/yufeilongyuan/article/details/106322613

自上而下解读ncnn系列（1）：加载param模型和bin文件前向传播（模型载入和网络重构，代码解析，分析ncnn源码用）

https://blog.csdn.net/hanzy88/article/details/100156252

FAQ-ncnn-produce-wrong-result（非常实用，必备）

https://github.com/Tencent/ncnn/wiki/FAQ-ncnn-produce-wrong-result

caffeModels--models-caffes-大全

https://www.cnblogs.com/leoking01/p/7123154.html

FPGA移植CNN算法

CNN算法FPGA移植

https://www.cnblogs.com/sepeng/category/1178632.html

 

ncnn PC端和交叉编译

myBuildx86.sh

#!/bin/bash
set -e # Exit immediately if a command exits with a non-zero status.
BuildDir=build_x86_64
if [ ! -d "$BuildDir" ]; then
  # Take action if $BuildDir doesn‘t exists. 
  echo "create ${BuildDir}..."
  mkdir -p ${BuildDir}
fi
cd ${BuildDir}

export VULKAN_SDK=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/vulkansdk-linux-x86_64-1.1.114.0/x86_64

cmake -DNCNN_VULKAN=ON -DCMAKE_INSTALL_PREFIX=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/ncnn_x86_64-install ..

make -j$(nproc) install

# cd build_x86_64/examples/
# ./squeezenet Dog.jpg

myBuildARM.sh

#!/bin/bash
set -e # Exit immediately if a command exits with a non-zero status.
BuildDir=build_arm_x64_proto
if [ ! -d "$BuildDir" ]; then
  # Take action if $BuildDir doesn‘t exists. 
  echo "create ${BuildDir}..."
  mkdir -p ${BuildDir}
fi
cd ${BuildDir}

echo "building ncnn_arm_x64"
export LD_LIBRARY_PATH=/opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux/usr/lib
source /opt/fsl-imx-xwayland/4.14-sumo/environment-setup-aarch64-poky-linux
export PATH=$PATH:/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/bin/
export PKG_CONFIG_PATH=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/pkgconfig/

cmake .. \
    -DCMAKE_TOOLCHAIN_FILE=../toolchain.cmake \
    -DCMAKE_INSTALL_PREFIX=/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/ncnn_arm_x64-install-proto \
    -DPROTOBUF_ROOT=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install \
    -DPROTOBUF_INCLUDE_DIRS=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/include \
    -DPROTOBUF_LIBRARY_DEBUG=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/libprotobuf.so.15.0.1 \
    -DPROTOBUF_LIBRARY_RELEASE=$HOME/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/arm64_pb_install/lib/libprotobuf.so.15.0.1

make -j$(nproc) install

# cd build_x86_64/examples/
# ./squeezenet Dog.jpg

toolchain.cmake

# this is required
SET(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR aarch64)

# specify the cross compiler
SET(CMAKE_C_COMPILER   /opt/fsl-imx-xwayland/4.14-sumo/sysroots/x86_64-pokysdk-linux/usr/bin/aarch64-poky-linux/aarch64-poky-linux-gcc)
SET(CMAKE_CXX_COMPILER /opt/fsl-imx-xwayland/4.14-sumo/sysroots/x86_64-pokysdk-linux/usr/bin/aarch64-poky-linux/aarch64-poky-linux-g++)

# cache flags
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}" CACHE STRING "c flags")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS}" CACHE STRING "c++ flags")

set(Protobuf_PREFIX_PATH
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/include"
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/lib"
   "/home/robert/DeepLearning/NXP-imx8QX/CompileResult/armnn-devenv/google/x86_64_pb_install/bin"
)
list(APPEND CMAKE_PREFIX_PATH "${Protobuf_PREFIX_PATH}")

SET(CMAKE_SYSROOT /opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux)

# where is the target environment 
SET(CMAKE_FIND_ROOT_PATH  /opt/fsl-imx-xwayland/4.14-sumo/sysroots/aarch64-poky-linux)

# specify the compiler flag
# SET(CMAKE_C_FLAGS  -O3 -mtune=cortex-a35 -mcpu=cortex-a35 -march=armv8-a+fp+simd+crc+crypto)
# SET(CMAKE_CXX_FLAGS  -std=c++11 -O3 -mtune=cortex-a35 -mcpu=cortex-a35 -march=armv8-a+fp+simd+crc+crypto)

set(CMAKE_C_FLAGS "-march=armv8-a")
set(CMAKE_CXX_FLAGS "-march=armv8-a")

# search for programs in the build host directories (not necessary)
SET(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
# for libraries and headers in the target directories
SET(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
SET(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)

 

yiyayiya557
关注
AI 大模型部署到嵌入式原理与代码实战案例讲解
AI天才研究院
06-01 1568
随着人工智能技术的快速发展，将AI模型部署到嵌入式设备上已成为一个热门的研究领域。这种部署方式不仅能够实现设备的智能化，还能够减少对云端服务的依赖，提高数据隐私性和系统响应速度。然而，由于嵌入式设备通常具有有限的计算资源、存储空间和能源供应，将复杂的AI模型部署到这些设备上面临着诸多挑战。本文将深入探讨AI模型部署到嵌入式系统的原理，并通过实际的代码案例来展示这一过程。权重剪枝：基于权重的重要性评估，移除不重要的连接或神经元。知识蒸馏：利用大模型（教师模型）的输出来训练小模型（学生模型）。
【嵌入式AI开发】轻量化卷积神经网络MobileNetV3详解
热门推荐
嵌入式阿齐Archie
04-28 2万+
本文对MobileNetv3网络结构进行详细的讲解。1.更新Block(bneck)，也就是逆残差结构上的简单改动。2.使用NAS搜索参数(Neural Architecture Search)。3.重新设计耗时层结构，（对网络的每一层的推理时间进行分析，针对某些耗时的层结构做进一步优化）。4.重新设计激活函数
ShiftCNN —— 基于量化的低精度网络表达
shuzfan的专栏
09-05 6059
一个利用低精度和量化技术实现的神经网络压缩与解决方案。 个人认为，这是低精度量化方面少有的具有高度工程可行性的一个方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接： 《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》模型转换示例代码： http
CNN量化
A person does not really understand something until after teaching it to a computer. Donald.E.Knuth
08-15 271
参考：【模型压缩】训练时量化--training aware quantization 参考：Google CVPR 2018论文：CNN量化技术 参考：CNN Network quantization 阶段总结 参考：CNN 模型压缩与加速算法综述 参考：CNN压缩与加速 参考：基于FPGA的CNN算法移植（一）概述 ...
ArmNN 深度学习框架搭建与使用教程
最新发布
gitblog_00839的博客
08-10 386
ArmNN 深度学习框架搭建与使用教程 armnnArm NN ML Software. The code here is a read-only mirror of https://review.mlplatform.org/admin/repos/ml/armnn项目地址:https://gitcode.com/gh_mirrors/ar/armnn 1. 项目目录结构及介绍 在 ArmNN...
CNN 量化技术
emma1222的博客
05-29 3678
Quantize Model是一种模型加速（Model Acceleration）方法。 背景介绍 目前SOTA（State Of The Art，顶尖水平）的CNN都不适合在移动设备上部署，两点原因使CNN模型压缩和加速领域快速发展： 从AlexNet开始，CNN都以ImageNet上的分类准确率作为性能评估的主要甚至唯一标准，这使得CNN架构的发展都没有考虑模型复杂度和计算效率问题。 ...
从TensorFlow Lite源码入门CNN量化
weixin_41521681的博客
09-05 1047
从TensorFlow Lite源码入门CNN量化 前言 从2012年AlexNet夺得当年ImageNet冠军开始，深度学习就开始呈爆破式发展，这个过程中迭代出很多优秀的深度学习代码框架，随着技术逐渐成熟，工业界对技术落地的需求越来越迫切，近几年的论文也慢慢分为两大派系，一派主要研究如何提高performance，另一派研究如何提高computational efficiency，当下已经诞生了很多模型压缩和加速方法，这些方法降低了服务器的运行负担甚至可以让高performance网络运行在移动.
CNN：模型量化训练和部署
yly的博客
11-04 2327
训练后量化Post-training quantization： 混合量化--仅量化权重 全整型量化--权重和激活值都进行量化 半精度float16量化--仅量化权重 量化感知训练（Quantization-aware training） 是一种伪量化的过程，它是在可识别的某些操作内嵌入伪量化节点，用以统计训练时流经该节点数据的最大最小值，便于在转换格式时量化使用并减少精度损失。伪量化节点的意义在于统计流经数据的最大最小值并参与前向传播提升精确度，但其在转换为量化模型后，其工作原理还是与训练..
xilinx-tiny-cnn.zip
04-23
3. **模型量化**：为了适应FPGA的有限硬件资源，TinyCNN支持权重和激活的量化，这使得模型可以使用更小的数据类型表示，进一步节省了内存。 4. **模型压缩**：通过剪枝、蒸馏等技术，TinyCNN允许开发者压缩模型大小...
MCU嵌入式AI开发笔记-视频笔记同步更新01~14集 7月2日更新到第14集
跨界交流
06-17 1108
MCU嵌入式AI开发笔记，目标是在国产MCU上调试运行AI人工智能算法TensorFlow Lite，做一些图像和声音以及传感器的识别控制。搜索柔贝特三哥，笔记视频同步更新
embeded_cnn:STM32f0上的卷积神经网络
04-12
文件"embeded_cnn-main"可能是项目的主要代码或配置文件，包含了将训练好的CNN模型移植到STM32f0的具体实现。在实际开发过程中，开发者需要关注模型的精度与资源消耗之间的平衡，以及如何有效地将模型部署到目标硬件...
SOM神经网络在嵌入式ARM上的移植
07-05
SOM神经网络在嵌入式ARM上的移植 测试实验为柴油机故障诊断
CNN模型 INT8 量化实现方式（一）
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
基于深度CNN的股票量化策略学习笔记
STDRsl的博客
02-02 1028
参考资料：Sezer， Omer & Ozbayoglu， Murat.（2018）. 基于深度卷积神经网络的算法金融交易：时间序列到图像转换方法.应用软计算。这篇论文讨论了将计算每天具有不同窗口大小的技术指标，然后将每天的指标转换为图像，并将其提供给卷积神经网络进行训练。实现对表格形式的股票趋势进行图像分类，这确实是一个有趣的思路，故而此文尝试实现，并且罗列一些遇到的问题。
【ncnn android】算法移植（八）——终于移植成功了DBface
怡宝2号
05-27 2316
1. 效果 先上效果，密集。 2.路线 pytorch2onnx 解决bilinear2d上采样问题 编译ncnn 创建项目，导入libncnn，完善DBface的推理代码 解决nms有重框的问题 3. 具体事项 图像预处理：((image / 255 - mean) / std).astype(np.float32) 项目初始调试成功的时候，结果和DBface.pytorch推理的结果有很大差距。从以下几个方面进行了检验。 后面对导出的onnx模型进行了检验 对onnx2ncnn的导出进行了检
NCNN在arm linux平台上交叉编译
radeyang的博客
03-19 1040
NCNN是腾迅公司为手机开发的高性能神经网络前向计算框架。不使用GPU，跨平台好，小巧，占资源少，在嵌入式领域有着广泛的应用，我开发ADAS车门预警用到了NCNN
Local Binary Convolutional Neural Networks ---卷积深度网络移植到嵌入式设备上？
weixin_30466953的博客
09-24 649
前言：今天他给大家带来一篇发表在CVPR 2017上的文章。 原文：LBCNN 原文代码：https://github.com/juefeix/lbcnn.torch 本文主要内容：把局部二值与卷积神经网路结合，以削减参数，从而实现深度卷积神经网络端到端的训练，也就是未来嵌入式设备上跑卷积效果将会越来越好。 主要贡献： 提出一种局部二值卷积（LBC)可以用来替代传统的卷积神经网络的卷积层...
（大集合）嵌入式端的神经网络算法部署和实现综合
空有精品无人问，倒也自然
03-28 9655
介绍关于 ARM NN、CMSIS NN 和 K210 等嵌入式端的神经网络算法的部署和实现。
STM32移植神经网络（3）--神经网络部分简介[拓展]
m0_37768370的博客
04-04 1775
Stm32移植神经网络
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值