模型量化 - PTQ简史(一）

已于 2024-03-02 19:27:23 修改
阅读量733 收藏 11
点赞数 17
文章标签： 人工智能 算法
于 2024-03-02 19:27:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EnsDoflamingo/article/details/136420591
版权
本文探讨了随着AI模型规模的增长，如何通过模型量化和剪枝技术来解决计算、存储和能耗问题。重点介绍了OBS剪枝与量化的关系，以及在Transformer模型中的优化，包括从贪心策略到批次量化，以及科列斯基分解在处理大规模计算需求中的应用。
摘要由CSDN通过智能技术生成

精炼模型

随着各类AI模型的高速发展，模型和深度学习系统的体量正在以指数级别逐渐膨胀。越发巨量的计算，存储，能耗等问题让AI从业者们迫不得已寻求对应的解决方案: 如何将巨大的AI模型适配在有

模型量化的一个本质是节约小数点。五年级数学课上，一个重要的问题是确定圆周率3.1415926约到第几位能做到方便估算。GPU等计算硬件同样需要简化小数。节约小数点位可以节省资源，圆周率节约到几位小数可以决定这种估算到底有多准确，模型量化也要面对这样的问题。是否模型量化后精简的模型和原来的模型达到相同的能力，量化-精度平衡。

PTQ量化前身-OBS剪枝

模型剪枝是把模型裁剪部分权重的过程。1993年Hassibi 指出由于剪枝一个深度学习模型时造成的错误 Error相对于剪掉的权重w可以被泰勒展开模拟:

当一个神经网络的权重训练到局部最优或者聚合稳定状态时，上式的首项一阶导数即会无线趋近为零，但是第二项二阶导数不会为零，至于高阶导数，在泰勒展开模拟中往往都会被忽略。抹除具体某个

最低0.47元/天 解锁文章
肩口鲲
关注
yolov5--ptq--qat量化之敏感层分析
qq_41920323的博客
11-06 809
yolov5量化的敏感层分析
训练后量化(PTQ) 工作流理解
csdndevpress0035的博客
07-24 322
首先介绍了 PTQ 的定义、量化的数学定义即量化公式、量化模拟、range setting，最后介绍了 PTQ 的整体技术流程。
大模型（LLM）的量化技术Quantization原理学习
penriver的博客
03-02 1万+
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
模型量化（二）—— 训练后量化PTQ（全代码）
全栈O-Jay的博客
03-13 5826
训练后量化（Post-training Quantization，PTQ）是一种常见的模型量化技术，它在模型训练完成之后应用，旨在减少模型的大小和提高推理速度，同时尽量保持模型的性能。训练后量化对于部署到资源受限的设备上，如移动设备和嵌入式设备，特别有用。
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
博学而笃志，切问而近思。
11-12 1426
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
AWQ介绍，构思 - PTQ简史(二)
EnsDoflamingo的博客
04-29 1395
AWQ基于激活值保留量化模型, 绕开了校准数据等PTQ模型量化诸多问题。并且在速度和性能上AWQ也取得了更多的进步，比如量化模型的内核聚合，SIMD-CPU高效利用等。尽管AWQ取得了必要的成功，然而关于AWQ性能实验的充分性，仍然值得更深层次的探索。
量化加速-对于DiffusionModels扩散模型进行PTQ量化加速-算法优化-附项目源码-优质项目实战.zip
10-16
量化加速_对于DiffusionModels扩散模型进行PTQ量化加速_算法优化_附项目源码_优质项目实战
flashocc-QAT-PTQ.zip
最新发布
10-31
flashocc-QAT-PTQ.zip
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 6302
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
神经网络（模型）量化介绍 - PTQ 和 QAT
77wpa的博客
02-03 9404
量化主要是一种加速推理的技术，量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术，与浮点实现相比，通常是 int8。模型尺寸缩小 4 倍；内存带宽减少 2-4 倍；由于内存带宽的节省和使用 int8 算法的更快计算，推理速度提高了 2-4 倍（确切的加速取决于硬件、运行时和模型）。然而，量化并非没有额外代价。从根本上说，量化意味着引入近似值，由此产生的网络精度略低。这些技术试图最小化完整浮点精度和量化精度之间的差距。
TensorRT的两种INT8量化方式: QTA, PTQ
专注于人工智能领域的小何尚
03-27 1781
深度学习 (DL) 模型的训练阶段包括学习大量密集的浮点权重矩阵，这导致推理过程中需要进行大量的浮点计算。研究表明，可以通过强制某些权重为零来跳过其中许多计算，而对最终精度的影响很小。与此同时，之前的帖子表明较低的精度（例如 INT8）通常足以在推理过程中获得与 FP32 相似的精度。稀疏性和量化是流行的优化技术，用于解决这些问题，缩短推理时间并减少内存占用。
模型量化——NVIDIA——方案选择(PTQ、 partialPTQ、 QAT)
TigerZ*的博客
04-09 516
本文主要介绍NVIDIA 模型量化方案的选型思路（主要有三种：PTQ、 partialPTQ、 QAT）。并且对其中涉及的知识点进行了提炼总结。
TensoRT量化第四课：PTQ与QAT
周同学的博客
05-04 8104
TensorRT量化第四课笔记
3.1 PTQ与QAT的介绍
qq_42178122的博客
06-07 2537
PTQ与QAT的介绍
YOLOv5-PTQ量化部署
周同学的博客
10-01 3683
YOLOv5-PTQ量化部署
一文了解模型量化中的QAT和PTQ
热门推荐
m0_38043555的博客
06-27 2万+
一文了解模型量化中的QAT和PTQ 由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32精度外，都支持了int8的精度，而量化到int8常常可以使我们的模型更小更快，所以在部署端很受欢迎。 常用的模型量化方式有训练中量化，QAT,和训练后量化，PTQ，之前转trt时，用的就是PTQ，在一些常用的模型上表现还不错，几乎没有什么掉点，但是在复杂模型，如带有swish的模型啊，或者nas搜出来的模型
TensorFlow Lite post-training quantization (PTQ，训练后量化)
既然选择了远方 便只顾风雨兼程 - 永强
03-20 3741
TensorFlow Lite post-training quantization (PTQ，训练后量化) Post-training quantization (PTQ) is a conversion technique that can reduce model size while also improving CPU and hardware accelerator latency, with little degradation in model accuracy. You can quant
Post-Training-Quantization（PTQ）
qq_44089890的博客
04-08 1977
Post-Training-Quantization（PTQ）是一种在训练后对量化进行的技术，它可以将原始的浮点模型转换为适合于边缘设备的低比特宽度（如8位或4位）的固定点模型。该技术可以减小模型的大小，并且可以在一定程度上加速模型的推理速度。PTQ通常分为以下几个步骤：训练模型：首先需要使用浮点模型在大规模数据集上进行训练，以获得高精度的模型。收集统计信息：在训练后，需要使用代表性数据集来收集模型的统计信息，例如权重的最大值和最小值，激活值的分布等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值