pytorch模型量化

最新推荐文章于 2024-08-21 15:50:05 发布
最新推荐文章于 2024-08-21 15:50:05 发布
阅读量193 收藏 4
点赞数 2
分类专栏： # pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xihuanniNI/article/details/141311702
版权

量化为int8； 8bit运算比32float快很多倍

        

 非对称量化和对称量化一个差异在于有无零点。对称量化的零点就在于通常的零点。

对称量化

计算尺度时，x = max(x_f)取浮点数绝对值的最大值。左侧有一部分区域未用，影响精度。

激活函数量化需要使用数据集

权重量化一般是channel上的。

 

参考

https://github.com/inisis/brocolli   和 从0-1实现pytorch模型量化框架（二）代码篇_哔哩哔哩_bilibili

 

 

选与握
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 模型量化quantization
驽马十驾，功在不舍；锲而不舍，金石可镂。
12-03 1378
此博客结合CIFAR100数据集分类任务，分别采用和对resnet101模型进行量化。
Pytorch 模型量化
07-01
Pytorch 模型量化.姿态估计使用 Pytorch 进行模型的静态量化、保存和加载.运行pth_to_int.py以获取量化模型。运行evaluate_model.py进行推理。模型尺寸从200M减小到50M。推理时间缩短约 20%。
Pytorch模型量化
热门推荐
凌逆战的博客
10-25 1万+
在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点： 更少的模型体积，接近4倍的减少； 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。 一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底...
PyTorch模型量化方法
WX_Chen的博客
06-02 878
per channel是对于tensor的某一个维度（通常是channel的维度）上的值按照一种方式去scale和offset，也就是一个tensor里有多种不同的scale和offset的方式（组成一个vector），如此以来，在量化的时候相比per tensor的方式会引入更少的错误。动态量化，或者叫作Weight-only的量化，是提前把模型中某些op的参数量化为INT8，然后在运行的时候动态的把输入量化为INT8，然后在当前op输出的时候再把结果requantization回到float32类型。
Pytorch模型量化介绍
zx6571的博客
10-10 2043
在深度学习领域量化主要是存储量化（减少存储所需内存）以及计算量化（减少计算时间）。而博主主要使用pytorch，在pytorch里支持的量化主要有动态量化（推理过程中进行量化）、静态量化（训练后进行量化）、感知量化（边训练边量化，用的时间更长，但精度几乎无损）。 Tensor量化 要实现量化首先要进行Tensor量化，Tensor量化与scale、zero-point参数有关，公式为： round（x/scale+zero-point） T...
利用PyTorch进行模型量化
4.0啊的博客
07-20 3375
模型量化是一种降低深度学习模型大小和加速其推理速度的技术。它通过减少模型中参数的比特数来实现这一目的，通常将32位浮点数（FP32）量化为更低的位数值，如16位浮点数（FP16）、8位整数（INT8）等。是PyTorch提供的一个用于模型量化的包，这个包提供了一系列的类和函数来帮助开发者将预训练的模型转换成量化模型，以减小模型大小并加快推理速度。在本博客中，我们介绍了如何使用PyTorch进行模型量化，包括量化的基本概念、准备工作、使用PyTorch的量化工具包以及通过实际例子展示了量化的整个过程。
PyTorch模型量化实战与解析
Q2625289483的博客
06-13 277
❝ pytorch一般情况下，是将网络中的参数保存成orderedDict形式的，这里的参数其实包含两种，一种是模型中各种module含的参数，即nn.Parameter,我们当然可以在网络中定义其他的nn.Parameter参数，另一种就是buffer,前者每次optim.step会得到更新，而不会更新后者。进行实验，这里实现了对称和非对称量化两种方案。即将量化后的值乘以就得到了反量化的结果，当然这个过程是有损的，如下图所示，橙色线表示的就是量化前的范围，而蓝色线代表量化后的数据范围，注意权重取。
深度学习模型精度与PyTorch模型量化
To be a better man
06-13 781
PyTorch Tensor的默认类型为单精度浮点数fp32。bf16是为深度学习而优化的新数字格式，预测精度的降低幅度最小。化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。来进行权重参数的存储，比如Python float的类型为双精度浮点数。的技术，并且只支持量化运算符的前向传递。简单来说，在深度学习中，//可能没见过吧 ，BF是一种相对较新的数据格式。，模型量化，这是最广泛使用的模型压缩形式。当前的深度学习框架大都采用的都是。
【pytorch 模型量化方法总结】
weixin_42483745的博客
07-10 1017
后端：x86、arm移动嵌入式平台；对应参数：‘fbgemm’ 、 ‘qnnpack’命令行：torch.quantization.get_default_qconfig(‘fbgemm’)1.动态量化代码示例： 适用于 Linear、LSTM、RNN等层；权重直接量化；bias和激活函数 在推理过程中动态量化；2.静态量化示例： 1.静态量化需要在模型起始和结束位置定义quant和dequant接口；2.配置好后端3.融合的层声明；一般是conv+relu；或者是conv+bn+relu；3.准备量化4.
pytorch模型量化尝试
pikaqiu_n95的博客
09-24 6107
pytorch现在已经支持模型量化，主要支持两种量化模式(qnnpack和fbgemm)：qnnpack是基于tensor的模式，这种相当于一种全局量化模式；另外fbgemm是基于通道的模式，相比qnnpack，fbgemm是以及基于通道的局部量化模式；需要说明的是这两种模式主要是针对权重而言的，激活函数的量化都是一样的。这里给出一个量化示例，pytorch目前只支持8bit的量化。 实现过程依然是承接前一篇博客而来，只是添加了量化部分而已，代码实现如下： import os import torch im
pytorch-quantization-demo:从头开始使用pytorch的简单网络量化演示
05-15
pytorch-quantization-demo A simple network quantization demo using pytorch from scratch. This is the code for my about network quantization written in Chinese. 感兴趣的读者欢迎关注我的知乎专栏： 以及...
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
PyTorch提供`torch2trt`库，允许直接将PyTorch模型转换为TensorRT兼容的格式。对于CIFAR数据集的模型，使用TensorRT部署可以实现更快的推理速度，尤其在资源有限的嵌入式或边缘计算场景中。 总结来说，本项目旨在...
pytorch量化尝试
09-24
在PyTorch中，量化是一种优化技术，用于将模型的计算从浮点数转换为整数，以减小模型的大小并提高在低功耗设备（如移动设备）上的运行速度。这种技术对于深度学习模型的部署至关重要，因为它可以在保持模型性能的...
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果...3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
【PyTorch】关于Transforms的简单使用
最新发布
Q20011102的博客
08-21 328
【PyTorch】关于Transforms的简单使用
【鼠鼠学AI代码合集#4】简单的数据预处理（pytorch）
S.Ybling
08-21 335
简单的数据预处理（pytorch）
模型训练坎坷路--逐步提升模型准确率从40%到90%+
m0_56243424的博客
08-15 917
剪枝实验的基准得是一个微调好的准确率保持较高的模型，按照我之前yolov5的经验来看，这还不简单?选模型+合适的数据集，20轮就OK!我计划使用 ResNet-18模型加上Cifar-10数据集，训练轮次100轮，准确度达到95%我就立马停下。可是过程却不大对劲，都20轮了我的准确率还是40%上下窜，一点进步的痕迹都没有，于是，果断按下停止键…from torchvision import models # 引入torchvision.modelstry:def train(
【PyTorch】关于Tensorboard的简单使用
Q20011102的博客
08-21 234
【PyTorch】关于Tensorboard的简单使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值