【MNN学习二】模型压缩与量化

最新推荐文章于 2024-05-05 03:02:21 发布
最新推荐文章于 2024-05-05 03:02:21 发布
阅读量5.6k 收藏 9
点赞数 2
分类专栏： MNN Learning 文章标签： MNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37643960/article/details/97182962
版权
MNN Learning 专栏收录该内容
6 篇文章 36 订阅 ¥29.90 ¥99.00
订阅专栏

目录

1. 量化的作用

2. 编译

3. 量化工具的使用

1. 量化的作用

    量化将网络中主要算子（卷积）由原先的浮点计算转成低精度的Int8计算，减少模型大小并提升性能

2. 编译

(1) 编译宏

    编译MNN时开启 MNN_BUILD_QUANTOOLS 宏，即开启量化工具的编译

(2) 编译产物

    量化模型的工具： quantized.out

    量化模型与浮点模型的对比工具：testQuanModel.out

3. 量化工具的使用

cd MNN/build
./quantized.out ../benchmark/models/mobilenet_v1.caffe.mnn ../benchmark/models/mobilenet_v1_quant.caffe.mnn mobilene
了解本专栏 订阅专栏 解锁全文
matrix-walker
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
订阅专栏
阿里0.2.1.5 MNN模型转换工具
12-12
阿里深度学习框架MNN 在ubantu环境下编译好的MNN模型转换工具 版本号为0.2.1.5 MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。
mnist的MNN模型
03-15
mnist的MNN模型
【KAWAKO】MNN-将pytorch训练出的pth模型转为mnn模型并进行训练量化
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-23 2682
目录 将pytorch训练好的.pth模型转为.onnx模型 使用MNNConvert命令将.onnx模型转为.mnn模型（linux上进行） 报错解决 大概过程就是 未完待续 将pytorch训练好的.pth模型转为.onnx模型 import torch import torch.onnx import models # 读取模型 model = models.crnn(inputdim=64, outputdim=1, pretrained_file= "trainedModel..
2024年Java最全AI for everyone，阿里淘系MNN工作台正式公测！，Java数据结构书籍推荐
最新发布
2401_84689803的博客
05-05 471
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
mnn量化
jacke121的专栏
07-25 3601
参考：https://zhuanlan.zhihu.com/p/73207495 今天MNN更新了新的工具包---CNN网络量化工具(quantization)，作者也第一时间进行了测试。提升的效果还是很可观的，量化前的CNN网络大小约为5.7M，在rk3399（android-8.1）的inference速度约为45ms。使用MNN提供的quantization工具进行量化后，模型大小减少为1.5M，在rk3399中的inference速度为29ms。 其使用的流程非常友好，首先使用MNN提供的量化工
五、MNN模型压缩与量化
大可的杨先森的博客
07-30 1803
深度学习模型文件mnn量化实践
大鱼的博客
01-07 3190
转化成mnn模型虽然可以进行推理 不过模型文件可能较大或者运行较慢的情况 特别是在移动设备等边缘设备上，算力和储存空间受限 因此压缩模型是一个急需的工作 mnn自带了量化工具，环境安装很简单，这文章编译就可以使用量化了 mnn模型文件是使用的是之前的文章训练并转化的mnn文件 在使用之前需要新建一个json文件，里面配置好内容 preprocessConfig.json { "format":"GRAY", "mean":[ 127.5 ],
【mnn】——模型离线量化流程代码浅析
怡宝2号
12-31 1363
mnn, 离线量化 1. 前言 mnn的离线量化，需要首先将其他模型转换成mnn的模型表达，再进行量化。 这里我们采用MAX_ABS进行weight权重量化，KL散度进行激活值的量化，int8对称量化。 2. Code 2.1 mnn模型读入与解析 std::unique_ptr<MNN::NetT> netT; { std::ifstream input(modelFile); std::ostringstream outputOs; .
MNN量化—ADMM优化算法
独行侠
10-09 2535
作者：糖心他爸 链接：https://zhuanlan.zhihu.com/p/81243626 来源：知乎 从优化的角度出发（对应MNN中的ADMM求解） 从优化的角度出发，又该如何进行建模和求解呢？首先如果我们想从优化角度去解决该问题，我们首先需要先建立目标函数，这里我们定义一个目标：希望编码后的数据（int8）经过反编码后，跟原数据的”距离“尽可能的接近。该描述可以通过如下数学公式进行刻画： 广义目标函数 进一步的，假设我们这里选定的度量D为L2度量，f和E的选取跟文章一开始时候介绍的一致
MNN是一个高效、轻量的深度学习框架
02-11
它支持深度模型推理与训练，尤其在端侧的推理与训练性能在业界处于领先地位。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷、钉钉、闲鱼等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动...
深度学习+移动端框架+模型部署
08-27
总结来说，NCNN、MNN和TNN都是为了在移动端高效部署深度学习模型而设计的框架。它们各自具备独特的优化策略，如汇编级优化、Op融合、低精度计算等，旨在在有限的资源条件下实现最佳性能。选择哪个框架取决于具体的...
一个mnn模型的demo, 用来测试 mnn 环境是否OK
08-05
一个mnn模型的demo, 用来测试 mnn 环境是否OK
MNN量化源码详解
qq_38109843的博客
07-07 4495
参考链接：https://www.zhihu.com/question/337513515
MNN量化源码解析
学习笔记
07-16 1801
Int8量化流程 收集激活值的直方图； 基于不同的阈值产生不同的量化分布； 然后计算每个分布与原分布的相对熵，然后选择熵最少的一个，也就是跟原分布最像的一个。 MNN量化代码分析 量化代码入口 int main(int argc, const char* argv[]) { if (argc < 4) { DLOG(INFO) << "Usage: ./quantized.out src.mnn dst.mnn preTreatConfig.json\n";
【KAWAKO】MNN-使用量化后的模型进行推理（c++）
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-29 1616
目录 下文需要include的MNN库和自带库 创建会话 输入数据 获取输入tensor 数据处理 将处理后的数据存入Tensor 运行会话 获取输出 使用CMakeLists.txt进行编译 路径目录 编译过程 下文需要include的MNN库和自带库 #include <MNN/ImageProcess.hpp> #define MNN_OPEN_TIME_TRACE #include <algorithm> #include <fstre...
MNN多输入多输出离线量化
学如不及,犹恐失之
06-14 771
MNN
【mnn】——PTQ离线量化代码梳理
怡宝2号
12-09 428
mnn离线量化代码梳理
浅析移动终端深度学习推理框架之MNN
03-27 1449
MNN是一种深度学习的开源推理引擎，全称是"Mobile Neural Network"，主要用于在移动设备和嵌入式设备上执行深度神经网络模型的推理任务。它支持跨平台的推理引擎API，可以运行在不同的硬件设备上，包括Android、iOS、Linux 和 Windows 等系统。
MNN学习笔记
qq_38109843的博客
07-02 2448
MNN安装 MNN源码：https://github.com/alibaba/MNN/tree/master/tools/converter 先安装3.0以上版本的protobuf，再安装，基本无坑。 简单测试： ./backendTest.out ../benchmark/models/mobilenet-v1-1.0.mnn 10 0 ./MNNConvert -h
1 兼容并蓄——MNN异构计算设计与实践1
08-03
在"兼容并蓄——MNN异构计算设计与实践1"的分享中，演讲者姜霄棠，作为阿里巴巴淘系技术部端智能算法专家，针对移动端的技术创新和实践，探讨了MNN（Mobile Neural Network，移动神经网络）在异构计算中的关键设计与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值