pytorch-quantization vs torch.ao.quantization vs torch.quantization区别

最新推荐文章于 2025-03-14 10:47:06 发布
最新推荐文章于 2025-03-14 10:47:06 发布
阅读量1.1k 收藏
点赞数
文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fr555wlj/article/details/130769713
版权
PyTorch提供了两种量化工具，NVIDIA开发的pytorch-quantization已有两年未更新，可能不够稳定。而torch.ao.quantization是PyTorch的官方版本，侧重于架构优化，另一个旧版torch.quantization正在被弃用。用户应关注官方支持的torch.ao.quantization进行量化工作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
pytorch-quantization这个package时nvidia开发出来的用来量化的。这个里面的内容已经有两年没有更新了。感觉不太靠谱的样子。

git

torch.ao.quantization这个是torch包里面的一个分支，是pytorch的官方版本。同时存在的还有一个torch.quantization,这个是老版本，正在弃用中，ao的意思是architecture optimization.

在这里插入图片描述

小 水 滴
关注
NVIDIA 量化感知训练pytorch-quantization说明文档
qq_33287871的博客
04-01 719
量化工具提供的几个量化模块如下：要量化模块，我们需要量化输入和权重（如果存在）。为只有输入的模块创建量化包装器为具有输入和权重的模块创建量化包装器。直接将 TensorQuantizer 模块添加到模型图中操作的输入。如果需要用量化版本自动替换原始模块（图中的节点），前两种方法非常有用。当需要在非常特定的地方手动将量化添加到模型图中时，第三种方法可能很有用（更多手动，更多控制）。让我们通过下面的示例查看每个用例。
pytorch_quantization量化工具使用简记
xiaomu_347的博客
05-07 840
pytorch_quantization 是 NVIDIA 开发的，是一个用于量化 PyTorch 模型的工具库，它支持多种量化方案，包括量化感知训练（Quantization Aware Training，QAT）和后训练量化（Post-Training Quantization，PTQ）。它与 TensorRT 有很好的集成，可以方便地将量化后的 PyTorch 模型转换为 TensorRT Engine，从而在 NVIDIA GPU 上进行高效推理。：确保你的 PyTorch 环境已经安装，并且与。
torch与torchvision版本对应关系 & ImportError: cannot import name ‘QuantStub‘ from ‘torch.ao.quantization‘
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
10-23 1万+
.
PyTorch Quantization简介
qq_44089890的博客
04-08 5750
量化模块的优点在于可以将神经网络中的参数转换为离散的数值，从而降低计算复杂度，减小模型大小，提高推理速度和功耗效率，特别是在移动设备等资源受限的环境下，量化模块的优势更加明显。量化感知训练的优点在于可以在训练过程中对深度神经网络进行量化优化，提高模型的精度和鲁棒性，同时还可以进一步减小量化误差，提高模型的性能和效果。通过这种量化优化方式，可以将神经网络中的参数量化为离散的数值，从而提高深度神经网络的性能和效率，减少计算复杂度和存储空间，特别是在移动设备等资源受限的环境下，量化优化的优势更加明显。
【PyTorch】torch.quantization.quantize_dynamic() 函数：动态量化（Dynamic Quantization）
最新发布
彬彬侠的博客
03-14 432
torch.quantization.quantize_dynamic 是 PyTorch 提供的动态量化（Dynamic Quantization）函数，用于 减少模型大小 并 加速推理，特别适用于 CPU 设备。适用于 Transformer、LSTM、GRU、全连接层。无需标定数据，易于使用，是 低成本优化推理性能的最佳方案。
Pytorch量化(torch.quantization)
hxxjxw的博客
04-22 7494
在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点： 更少的模型体积，接近4倍的减少； 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。 一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底层硬件支持，x86 CPU（支持AVX2）、ARM CPU、Google TPU、Nvi...
PyTorch量化实践（1）
十二月未央未眠
05-27 1440
翻译来源https://pytorch.org/blog/quantization-in-practice/ 量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。 量化原理 如果有人问你几点了，你不会回答“10:14:34:430705”，而会说“10点过一刻”。 量化本质.
深度学习：ImportError: cannot import name ‘QuantStub‘ from ‘torch.ao.quantization‘
热门推荐
weixin_44575717的博客
04-17 1万+
错误语句： from torch.ao.quantization import QuantStub, DeQuantStub 正确语句： from torch.quantization import QuantStub, DeQuantStub torch版本问题。
基于pytorch-quantization对yolov8进行量化源码+项目使用说明.zip
07-31
使用pytorch_quantization对yolov8进行量化,ptq、敏感层分析、qat
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
05-08
本项目旨在利用PyTorch的量化工具PyTorch-Quantization对YOLOv8模型进行量化加速，实现模型小型化，从而在保持检测性能的同时，降低计算资源的消耗，适用于嵌入式设备和移动端应用。 PyTorch-Quantization是PyTorch...
pytorch量化尝试
09-24
此代码实现的是pytorch量化的流程，里面卷积等模块也有自己实现的部分，借助pytorch的统计信息，便于后续的工程量化的落地实施
pytorch-quantization-demo:从头开始使用pytorch的简单网络量化演示
05-15
pytorch-quantization-demo A simple network quantization demo using pytorch from scratch. This is the code for my about network quantization written in Chinese. 感兴趣的读者欢迎关注我的知乎专栏： 以及同名公众号：AI小男孩
基于pytorch量化感知训练mnist分类 浮点训练vs多bit后量化vs多bit量化感知训练效果对比
03-06
具体实施时，PyTorch提供了`torch.quantization`模块来进行量化感知训练。这个模块包含了一些关键的接口，如`QuantizeStub`和`DeQuantizeStub`，用于插入到模型中以模拟量化和反量化操作。通过`prepare_qat`和`...
pytorch每日一学24(torch.quantize_per_tensor()、torch.quantize_per_channel())使用映射过程将tensor进行量化
Fluid_ray的博客
11-21 6546
第24个方法 torch.quantize_per_tensor(input, scale, zero_point, dtype) → Tensor torch.quantize_per_channel(input, scales, zero_points, axis, dtype) → Tensor 以上两个方法是将将浮点张量转换为具有给定比例和零点的量化张量。 Quantization（量化）介绍   量化是指用于执行计算并以低于浮点精度的位宽存储张量的技术。量化模型对张量使用整数而不是浮点值
Pytorch模型量化（一）：快速上手
Nn_echo的博客
10-17 1318
模型量化（Quantization）是一种使用更低的数据位宽（bitwidths）进行计算和数据存储的技术，例如，可以将模型中的全部或者部分float32计算和权重转换为int8的计算或者权重。当然，这种转换通常是对已经训练好的模型进行的，换句话说，模型量化常运用在模型推理的过程中。int8所需的存储空间仅为float32的四分之一，并且硬件进行int8计算的速度通常是进行float32储存模型所需的硬盘空间或内存空间更小。从硬盘中加载模型到内存或显存的速度更快。
torch量化的流程
踟蹰横渡口,彳亍上滩舟。
06-27 2832
量化工作流程 PyTorch 提供了三种量化模型的方法。 训练后动态量化： 这是最简单的量化形式，其中权重被提前量化，而激活在推理过程中被动态量化。 这用于以下情况：模型执行时间主要由从内存中加载权重而不是计算矩阵乘法来决定。 对于小批量的 LSTM 和 Transformer 类型的模型，这是正确的。 只需调用一次 torch.quantization.quantize_dynamic() ，即可将动态量化应用于整个模型。 请参阅量化教程 训练后静态量化：这是最常用的量化形式，其中权重是提前量化的，并且
torch模型量化方法总结
scott198512的博客
09-22 1587
模型训练完成后的参数为float或double类型，而装机（比如车载）后推理预测时，通常都会预先定点（量化）为int类型参数，相应的推理的精度会有少量下降，但不构成明显性能下降，带来的结果是板端部署的可能性，推理的latency明显降低，本文对torch常用的量化方法进行总结作为记录。
如何解决报错 ModuleNotFoundError: No module named ‘torch.ao.quantization‘
qq_46322529的博客
12-08 6612
import torchvision产生的问题
torch2.0.1有torch.ao.quantization这个模块吗
07-14
很抱歉，我之前给出的回答有误。在 PyTorch 2.0.1 版本中确实没有 `torch.ao.quantization` 这个模块。该模块在较新的版本中才被引入。 如果您需要使用量化相关的功能，可以考虑升级到较新的 PyTorch 版本（如 PyTorch 1.8 或更高版本），以获得 `torch.quantization` 模块。 请注意，模块和功能的可用性可能因不同的版本而有所变化，因此建议查阅 PyTorch 官方文档或相关资源，以确定特定功能在您所使用的版本中是否可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值