模型压缩(3)——模型量化

本文介绍了如何使用ncnn工具对模型进行优化和量化,包括生成imagelist.txt、table文件,以及量化模型的过程。量化后模型大小显著减少,且在精度上保持了较高的一致性。
摘要由CSDN通过智能技术生成

目录

1. 优化模型

2. 量化模型

2.1 生成imagelist.txt

2.2 生成table文件

2.3 生成量化模型

3. 模型对比

3.1 模型大小对比

3.2 模型精度对比

4. 代码链接

5. 参考链接


量化的开源工具很多,本文使用ncnn进行量化,关于ncnn模型部署的参考链接1。

由于移动端的算力和内存通常较小,因此我们在部署的时候往往需要进一步压缩模型,以降低内存占用和计算量。

1. 优化模型

在生成model.param和model.bin模型后,可以在ncnn路径下(我的路径G:\NCNN\build-vs2017\tools)找到ncnnoptimize/ncnnoptimize.exe,然后很简单,打开shell(终端,使用命令直接生成优化后的模型,模型大小将压缩一半)

// 0表示float32, 1表示float16

// 优化过程会合并卷积层和激活层

./ncnnoptimize.exe model.param model.bin bettermodel.param bettermodel.bin 1  

2. 量化模型

2.1 生成imagelist.txt

在ncnn路径(我的路径G:\NCNN\build-vs2017\tools\quantize)下找到ncnn2table/ncnn2table.exe

// 在ncnn2table路径下准备图片文件(train的数据即可)放在新建文件夹images里面

// 右

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值