pytorch 模型量化quantization

已于 2024-02-21 18:09:18 修改
阅读量1.8k 收藏 21
点赞数 16
分类专栏： AI实战 文章标签： pytorch 量化 QAT PTQ
于 2023-12-03 18:36:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WANGWUSHAN/article/details/134617465
版权
本文介绍了PyTorch中的模型量化方法，包括动态量化、后训练静态量化（PTQ）和量化感知训练（QAT）。通过在CIFAR100数据集上对resnet101模型进行量化，展示了PTQ和QAT的流程和效果，PTQ在不使用校准数据的情况下显著减少了模型大小和推断时间，而QAT则通过模拟训练过程提高精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pytorch 模型量化quantization

pytorch框架提供了三种量化方法，包括：

  • Dynamic Quantization
  • Post-Training Static Quantization（PTQ）
  • Quantization Aware Training（QAT）

此博客结合CIFAR100数据集分类任务，分别采用Post-Training Static Quantization和Quantization Aware Training对resnet101模型进行量化。

1.workflow

1.1 PTQ

在这里插入图片描述

图片来自Practical Quantization in PyTorch。

1.2 QAT

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pytorch_quantization量化工具使用简记
xiaomu_347的博客
05-07 841
pytorch_quantization 是 NVIDIA 开发的，是一个用于量化 PyTorch 模型的工具库，它支持多种量化方案，包括量化感知训练（Quantization Aware Training，QAT）和后训练量化（Post-Training Quantization，PTQ）。它与 TensorRT 有很好的集成，可以方便地将量化后的 PyTorch 模型转换为 TensorRT Engine，从而在 NVIDIA GPU 上进行高效推理。：确保你的 PyTorch 环境已经安装，并且与。
PyTorch Quantization简介
qq_44089890的博客
04-08 5750
量化模块的优点在于可以将神经网络中的参数转换为离散的数值，从而降低计算复杂度，减小模型大小，提高推理速度和功耗效率，特别是在移动设备等资源受限的环境下，量化模块的优势更加明显。量化感知训练的优点在于可以在训练过程中对深度神经网络进行量化优化，提高模型的精度和鲁棒性，同时还可以进一步减小量化误差，提高模型的性能和效果。通过这种量化优化方式，可以将神经网络中的参数量化为离散的数值，从而提高深度神经网络的性能和效率，减少计算复杂度和存储空间，特别是在移动设备等资源受限的环境下，量化优化的优势更加明显。
Pytorch Quantization
vivavivaa的博客
05-31 702
Pytorch官方量化学习
【PyTorch】torch.quantization.quantize_dynamic() 函数：动态量化（Dynamic Quantization）
最新发布
彬彬侠的博客
03-14 436
torch.quantization.quantize_dynamic 是 PyTorch 提供的动态量化（Dynamic Quantization）函数，用于 减少模型大小 并 加速推理，特别适用于 CPU 设备。适用于 Transformer、LSTM、GRU、全连接层。无需标定数据，易于使用，是 低成本优化推理性能的最佳方案。
pytorch的量化Quantization
qq_29007291的博客
05-21 3114
一、相关背景 pytorch 从 1.3 开始增加了量化相关的接口，目前pytorch 最新版本已经到了1.11了，猜测其量化相关工具已经完善了（易用、模型速度提升，模型质量几乎不下降），所以开始记录量化相关知识。 注意 本文开始写于 20220521，pytorch 版本 1.11。如果时间相差太多或者版本相差太多，后面的信息可能会不适用。 相应资料均来自与pytorch官网 二、Quantization 量化相关知识就不介绍了，网上一大堆，pytorch也是一大堆介绍。这里就简单给出个pytorch
Pytorch量化(torch.quantization)
hxxjxw的博客
04-22 7494
在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点： 更少的模型体积，接近4倍的减少； 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。 一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底层硬件支持，x86 CPU（支持AVX2）、ARM CPU、Google TPU、Nvi...
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
周同学的博客
10-29 4971
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
pytorch-quantization-demo:从头开始使用pytorch的简单网络量化演示
05-15
pytorch-quantization-demo A simple network quantization demo using pytorch from scratch. This is the code for my about network quantization written in Chinese. 感兴趣的读者欢迎关注我的知乎专栏： 以及...
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
05-08
PyTorch-Quantization是PyTorch官方提供的一个用于模型量化和部署的工具包，它可以将原本运行在浮点运算上的神经网络模型转换为整数运算，减少内存占用，提高执行效率。量化过程通常包括两个阶段：量化感知训练...
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
PyTorch提供`torch2trt`库，允许直接将PyTorch模型转换为TensorRT兼容的格式。对于CIFAR数据集的模型，使用TensorRT部署可以实现更快的推理速度，尤其在资源有限的嵌入式或边缘计算场景中。 总结来说，本项目旨在...
PyTorch量化实践（1）
十二月未央未眠
05-27 1441
翻译来源https://pytorch.org/blog/quantization-in-practice/ 量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。 量化原理 如果有人问你几点了，你不会回答“10:14:34:430705”，而会说“10点过一刻”。 量化本质.
pytorch_quantization:Dorefa量化的pytorch实现
04-15
Dorefa网 的pytorch实施 .The代码的灵感来自和 。 要求 python> 3.5 火炬> = 1.1.0 火炬视觉> = 0.4.0 每晚，未来（用于张量板） nvidia-dali> = 0.12（更快的 ） Cifar-10精度 从头开始训练量化模型 模型 W_位 一点点 加速器 网路18 32 32 94.71％ 网路18 4 4 94.36％ 网路18 1个 4 93.87％ ImageNet精度 从头开始训练量化模型 模型 W_位 一点点 前1名 前5 网路18 32 32 69.80％ 89.32％ 网路18 4 4 66.60％ 87.15％ 用法 下载ImageNet数据集并将验证图像移动到带标签的子文件夹中。为此，您可以使用以下 训练模型 python3 cifar_train_eval.py pyt
pytorch量化
weixin_45919003的博客
04-13 2710
pytorch源码学习记录
TensorRT量化工具pytorch_quantization代码解析(一）
xiaohu的博客
02-28 4239
API 的核心是 TensorQuantizer 模块，它可以量化、伪量化或收集张量的统计信息。在 TensorQuantizer 之上的是量化模块，这些模块被设计为 PyTorch 全精度模块的替代品。这些是使用 TensorQuantizer 对模块的权重和输入进行伪量化或收集统计信息的方便模块。转换也可以使用 API 手动完成，这允许在不想量化所有模块的情况下进行部分量化。会动态地修改 PyTorch 代码，以便将 torch.nn.module 的一些子类替换为对应的量化版本。
TensorRT量化工具pytorch_quantization代码解析(二）
xiaohu的博客
02-28 2160
为了处理量化梯度，除了未定义的点之外，几乎所有地方都是零，可以使用 直通估计器 （ STE ），它通过伪量化操作符传递梯度。希望存储为float，pytorch函数接受float量化值，它可能不接受整数输入。例如，对于num_bits=8，[0，255]。输入将在[-amax，amax]范围内量化，amax将广播到inputs tensor。例如，对于num_bits=8，用[-127，127]代替[-128，127]。在前向过程中，对浮点权重和激活进行伪量化，并使用这些伪量化的权重和激活来执行层的操作。
TensorRT量化工具pytorch_quantization代码解析(四）
xiaohu的博客
03-02 2269
补充下相关的公式理论基础，再写！！！继续看其作用：收集校准数据的统计信息：将校准数据馈送到模型，并以直方图的形式收集每个层的激活分布统计信息以进行量化。收集直方图数据后，使用一个或多个校准算法（ compute_amax）校准刻度（ calibrate_model ）。在标定过程中，尽量确定每一层的量化尺度，以达到优化模型精度等目标。
PyTorch QAT（量化感知训练）实践——基础篇
Enjoy Coding
07-25 7024
本文介绍了int8量化和QAT的原理，并基于PyTorch介绍了提供的PTQ和QAT的方法。
利用PyTorch进行模型量化
4.0啊的博客
07-20 4722
模型量化是一种降低深度学习模型大小和加速其推理速度的技术。它通过减少模型中参数的比特数来实现这一目的，通常将32位浮点数（FP32）量化为更低的位数值，如16位浮点数（FP16）、8位整数（INT8）等。是PyTorch提供的一个用于模型量化的包，这个包提供了一系列的类和函数来帮助开发者将预训练的模型转换成量化模型，以减小模型大小并加快推理速度。在本博客中，我们介绍了如何使用PyTorch进行模型量化，包括量化的基本概念、准备工作、使用PyTorch的量化工具包以及通过实际例子展示了量化的整个过程。
pytorch_quantization安装
phily123的博客
10-14 5347
直接安装pytorch-quantization会找不到，需要首先安装 nvidia-pyindex 包， nvidia-pyindex是一个 pip 源，用来连接英伟达的服务器下载需要的包。这时pip install pytorch_quantization会依次提示找不到 依赖包：absl-py>=0.7.0、sphinx-glpi-theme、 prettytable。可以将pip源更换后安装依赖包后再将pip源切换到nvidia-pyindex进行pytorch-quantization的安装。
pytorch模型量化
08-31
PyTorch提供了一种模型量化的方法，可以将浮点数模型转换为定点数模型，以减少模型的存储空间和计算资源的使用。这有助于在资源受限的设备上部署深度学习模型。 在PyTorch中，可以使用torch.quantization模块进行模型量化。下面是一个简单的示例代码，演示如何将一个已训练好的浮点数模型量化为定点数模型： ```python import torch import torch.quantization # 加载已训练好的浮点数模型 model = torch.load('pretrained_model.pth') # 将模型转换为量化模型 quantized_model = torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtype=torch.qint8 ) # 保存量化模型 torch.save(quantized_model, 'quantized_model.pth') ``` 在上面的示例中，我们使用了`torch.quantization.quantize_dynamic`函数将模型转换为量化模型。该函数需要指定需要量化的模块类型（例如线性层），以及量化后的数据类型（例如torch.qint8表示8位整数）。 通过这个简单的示例，你可以将已训练好的PyTorch模型量化为定点数模型。请注意，量化可能会对模型的精度产生一定的影响，因此在量化之前要进行充分的测试和评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

外卖猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值