网络模型小型化--量化

最新推荐文章于 2022-05-03 14:00:17 发布
最新推荐文章于 2022-05-03 14:00:17 发布
阅读量1.5k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m00102981/article/details/106116622
版权

在这里插入图片描述

网络模型量化

模型量化

以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程

模型的输入输出依然是浮点型

达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标

原理

  • 模型量化桥接了定点与浮点，建立了一种有效的数据映射关系，使得以较小的精度损失代价获得了较好的收益
  • 由浮点到定点的量化
  • 由定点到浮点反量化

优缺点

好处

  • 减小模型尺寸，如8位整型量化可减少75%的模型大小
  • 减少存储空间，在边缘侧存储空间不足时更具有意义
  • 易于在线升级，模型更小意味着更加容易传输
  • 减少内存耗用，更小的模型大小意味着不需要更多的内存
  • 加快推理速度，访问一次32位浮点型可以访问四次int8整型，整型运算比浮点型运算更快
  • 减少设备功耗，内存耗用少了推理速度快了自然减少了设备功耗
  • 支持微处理器，有些微处理器属于8位的，低功耗运行浮点运算速度慢࿰
最低0.47元/天 解锁文章
终身幼儿园
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【笔试面试】秒懂深度学习模型小型化：蒸馏法、剪枝…
聊北辰同学的博客
11-21 1189
蒸馏：主要思想是，通过大模型指导小模型学习。 剪枝：网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除，然后再重新fine tune网络进行微调。 紧凑模型设计： MobileNet 的 深度可分离卷积 shufflenet 的 逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle)，前者通过分组卷积降低计算量，后者促进信息在不同组之间流转 ...
在pytorch上使用LSTM实现猫狗分类
Richard_Kim的博客
10-20 3005
与RNN一样，输入也是三个维度，由于之前RNN先使用了CNN进行过滤，这次LSTM模型不使用CNN过滤，直接把所有向量放入训练。如下图，没有和RNN一样使用三层卷积层。 定义超参数 BATCH_SIZE = 32 # 每批处理的数据 DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu') EPOCHS = 15 # 训练数据集的轮次 1. 最后一个epoch（第15个epoch）时候的训练集的损失率 ...
qconfig
kobexzf的博客
12-10 3278
PointNet和PointNet++的Pytorch实现
08-31
更新 2021/03/27: （1）发布语义分割的预训练模型，其中PointNet++可以达到53.5%的mIoU。 (2) 发布预训练模型用于分类和部分分割log/。 2021/03/20：更新分类代码，包括： (1) 添加训练ModelNet10数据集的代码。使用--num_category 10. (2) 添加仅在 CPU 上运行的代码。使用--use_cpu. (3) 增加离线数据预处理代码，加速训练。使用--process_data. (4) 添加用于均匀采样训练的代码。使用--use_uniform_sample. 2019/11/26: (1) 修复了之前代码中的一些错误并增加了数据增强技巧。现在只用1024分就可以达到92.8%！ (2) 增加了测试代码，包括分类和分割，以及可视化的语义分割。 (3) 将所有模型整理成./models文件，方便使用。
获取pytorch神经网络中间输出结果-resnet
weixin_41414657的博客
04-26 2834
首先print(model)获取网络各个层的详细信息，如下（本文例子选取开源稀疏神经网络库sparsezoo中95%稀疏度的50层resnet，关于该库可参见本人另一篇博客）： ResNet( (input): _Input( (conv): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False) (bn): BatchNorm2d(64, eps=1e-05, momentum=0.1,
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
最新发布
05-08
本项目旨在利用PyTorch的量化工具PyTorch-Quantization对YOLOv8模型进行量化加速，实现模型小型化，从而在保持检测性能的同时，降低计算资源的消耗，适用于嵌入式设备和移动端应用。 PyTorch-Quantization是PyTorch...
Python-PocketFlow腾讯开源的模型压缩自动化AutoMC框架
08-11
知识蒸馏则是将大型教师模型的知识传递给小型学生模型，以保持学生模型的准确性。这些技术的结合使用，可以实现深度学习模型的全面优化。 框架的自动化特性体现在其内置的搜索算法上，如基于元学习的自动超参数调优...
Python-模型压缩与加速相关文献汇总
08-09
3. 知识蒸馏：将大型模型（教师模型）的知识传授给小型模型（学生模型），使学生模型在保持良好性能的同时减小规模。 4. 鲁棒稀疏性：通过训练过程中的正则化策略，诱导模型学习到稀疏的权重结构，如L1和L2正则化。...
Python-嵌入式压缩神经网络相关工作汇总
08-11
3. 知识蒸馏：这种方法是将大型教师模型的知识转移到小型学生模型，使学生模型能以更小的规模达到相似的性能。 4. 低秩分解：通过矩阵分解来降低模型的参数数量，比如使用奇异值分解（SVD）。 在Python中，开发...
PaddleSlim是一个专注于深度学习模型压缩的工具库，提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略
11-09
总的来说，PaddleSlim是一个全面的深度学习模型压缩工具，它为AI开发者提供了高效、易用的解决方案，以应对模型小型化和资源优化的挑战。借助PaddleSlim，开发者能够更便捷地将高质量的AI模型部署到各种实际场景中。
pointnet.pytorch, "pointnet"的pytorch实现.zip
09-17
pointnet.pytorch, "pointnet"的pytorch实现 PointNet.pytorch这里 repo 是pytorch中 PointNet ( https://arxiv.org/abs/1612.00593 )的实现。 模型在 pointnet.py 中。下载数据并运行bash
Pytorch模型量化介绍
zx6571的博客
10-10 1996
在深度学习领域量化主要是存储量化（减少存储所需内存）以及计算量化（减少计算时间）。而博主主要使用pytorch，在pytorch里支持的量化主要有动态量化（推理过程中进行量化）、静态量化（训练后进行量化）、感知量化（边训练边量化，用的时间更长，但精度几乎无损）。 Tensor量化 要实现量化首先要进行Tensor量化，Tensor量化与scale、zero-point参数有关，公式为： round（x/scale+zero-point） T...
PointNet训练与测试github开源代码（PointNet实现第5步骤pytorch版）
xiaobaizaza_Ry的博客
04-19 6761
PointNet第5步——PointNet训练与测试github开源代码 在运行github上的代码时，经常版本不匹配会出现大量的不同，或者报错，这篇主要记录我解决相关报错的方法。 本次测试的是github上的yanx27Pointnet_Pointnet2_pytorch 源码资源【点击此处】在此，感激git主的贡献。 第一步：下载代码 本次程序不太适合用自己笔记本的cpu还跑，还是比较适合...
NLP预训练模型小型化与部署的那些事儿
PaddlePaddle
07-15 1055
点击左上方蓝字关注我们课程简介“手把手带你学NLP”是基于飞桨PaddleNLP的系列实战项目。本系列由百度多位资深工程师精心打造，提供了从词向量、预训练语言模型，到信息抽取、情感分析、文...
Pytorch基础（八）——正则化
baidu_35536188的博客
12-12 2359
一、概念 正则化在深度学习领域是为了防止训练结果过拟合而采取的一种方法。
Pytorch学习笔记十六：正则化
Dear_learner的博客
05-03 7022
一、weight decay（权值衰减） 正则化（regularization）：减小方差的策略。 那什么是方差呢？ 误差 = 偏差 + 方差 + 噪声 偏差：度量了学习算法的期望预测与真实结果之间的偏离程度，即刻画了学习算法的拟合能力； 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下届。 可从下图来理解： ...
极智AI | 谈谈几种量化策略：MinMax、KLD、ADMM、EQ
极智视界
09-27 3236
本文主要聊一下深度学习模型量化相关策略。
PointNet++点云处理精讲(PyTorch)
08-11
三维点云是物理世界的三维数据表达形式，其应用日益广泛，如自动驾驶、AR/VR、FaceID等。PointNet网络模型是直接对三维点云数据进行深度学习的开山之作，PointNet++是对PointNet的改进技术。作为点云处理深度学习方法的里程碑工作，启发了很多后续研究。本课程对PyTorch版的PointNet++进行原理讲解、论文复现和代码详解。包括：  （1）提供三维点云物体分类数据集ModelNet40、物体部件分割数据集ShapeNet和场景分割数据集S3DIS的下载、可视化软件和方法；（2）在Ubuntu系统上演示使用PointNet++进行三维点云的物体分类、部件分割和场景语义分割的训练和测试；（3）详解PointNet++的原理、程序代码和实现细节，并使用PyCharm进行Debug调试代码和单步跟踪。需要学习TensorFlow版PointNet++的学员可前往本人推出了课程《PointNet++点云处理TensorFlow版》
解析要在Python中浮动的字符串（float（）函数）
cumtb2009的博客
07-10 1038
Given a string value (that contains float value) and we have to convert it into float value in Python. 给定一个字符串值(包含浮点值)，我们必须在Python中将其转换为浮点值。 To convert a string value to the float, we use float() fu...
AI2019_SA19225404_吴语港_Lab4_TF1.x1
08-08
实验目标是通过剪枝和量化来实现TensorFlow网络的压缩，从而减少模型的存储需求和提高运行效率。实验中可能涉及了如何有效地执行这些技术，如权重的量化方法、计算二值权重梯度的策略以及保证量化后模型精度的方法。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值