LLM.int8()——自适应混合精度量化方法

已于 2022-12-04 21:55:54 修改
阅读量3.3k 收藏 6
点赞数 2
分类专栏： Transformer 自然语言处理 模型压缩 文章标签： 深度学习 人工智能 模型压缩 模型量化 混合精度量化
于 2022-12-04 21:51:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/128177323
版权
本文介绍了一种自适应混合精度量化方法LLM.int8，结合Vector-wise量化和混合精度分解，针对大模型如GPT-3和OPT-175B，有效处理权重和特征的高维度以及异常值问题，提高量化精度并降低推理延迟和资源消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper地址：https://arxiv.org/abs/2208.07339

GitHub链接：GitHub - TimDettmers/bitsandbytes: 8-bit CUDA functions for PyTorch

随着模型参数规模的增加，大模型（如GPT-3，OPT-175B等NLP稠密大模型）的实际部署应用，需要消耗一定的计算/存储资源，且推理响应延迟存在限制，例如：基于Triton的分布式并行推理，OPT-175B部署在8张A100设备上时，推理延迟约400ms（Batch size=1）。

模型量化是实现模型压缩与推理加速的常用技术手段，但由于大模型本身巨大的参数规模，首先权重矩阵与特征张量的维度都很高，对权重与特征都直接采用Per-tensor量化会造成较大

最低0.47元/天 解锁文章
巨型语言模型的 8 位量化：LLM.int8()
步子哥的博客
06-12 835
大型语言模型（LLM）在自然语言处理领域取得了巨大成功，但其推理过程需要大量的 GPU 内存。本文将介绍一种针对 Transformer 架构中前馈层和注意力投影层的 8 位矩阵乘法方法，该方法可以将推理所需的内存减半，同时保持与全精度模型相同的性能。
大语言模型原理基础与前沿 FP8与INT8
AI天才研究院
09-24 1444
大语言模型原理基础与前沿：FP8与INT8 关键词： 大语言模型：大规模预训练语言模型，如BERT、GPT等，拥有数千亿甚至万亿参数。 FP8与INT8：低精度量化技术，用于减少内存消耗
大模型LLM.int8()量化技术原理与代码实现
star_nwe的博客
10-04 1795
所谓模型量化，其实就是将模型参数的精度从较高位宽(如FP16、FP32、BF16，一般是浮点运算)转换为较低位宽(如Int8、Int4，一般是整数运算)，从而降低模型存储大小及显存占用、提升推理性能。
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战
最新发布
顶峰
04-07 599
上下文长度为 8192 个 token使用旋转位置嵌入（RoPE）近似 GeGLU 非线性局部滑动窗口和全局注意力。研究团队在每隔一层中交替使用局部滑动窗口注意力和全局注意力。局部注意力层的滑动窗口大小设置为4096个token，而全局注意力层的跨度设置为8192个token。Logit软封顶。根据Gemini 1.5的方法，研究团队在每个注意力层和最终层限制logit，使得logit的值保持在−soft_cap和+soft_cap之间。
大模型量化技术原理-LLM.int8()、GPTQ
吃果冻不吐果冻皮
02-19 6067
本文简要介绍了两种比较常用的大模型量化方法 GPTQ、LLM.int8()；LLM.int8() 属于 round-to-nearest (RTN) 量化：舍入到最近的定点数。而 GPT-Q 则是把量化问题视作优化问题，逐层寻找最优的量化权重。目前，这两种量化方法也集成到了Transformers库中，大家可以非常方便的使用。
深度解析：大模型量化技术原理——LLM.int8()与GPTQ
2401_85343303的博客
08-29 2105
本文简要介绍了两种比较常用的大模型量化方法 GPTQ、LLM.int8()；LLM.int8() 属于 round-to-nearest (RTN) 量化：舍入到最近的定点数。而 GPT-Q 则是把量化问题视作优化问题，逐层寻找最优的量化权重。目前，这两种量化方法也集成到了Transformers库中，大家可以非常方便的使用。
大模型（LLM）的量化技术Quantization原理学习
热门推荐
penriver的博客
03-02 2万+
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
QuIP: 大语言模型的两位量化方法及其保障
步子哥的博客
07-14 1496
大型语言模型(LLMs)在文本生成、少样本学习、推理等多个领域取得了重大突破。然而,这些模型动辄数百亿参数的庞大规模也给部署和推理带来了巨大挑战。为了提高LLMs的运行效率,研究人员们一直在探索各种模型压缩技术,其中参数量化是一种很有前景的方法。本文将介绍一种新的LLM量化算法QuIP(Quantization with Incoherence Processing),该方法首次实现了LLMs的高质量2比特量化,并给出了理论保证。
AI知识补全（九）：大模型量化和推理优化是什么？
Code_流苏：在代码中寻诗意，在实践中觅真知
03-31 584
本文深入探讨大模型在有限资源下高效运行的核心技术，涵盖量化、KV缓存优化和注意力机制改进，帮助读者全面掌握大模型的实际部署与性能提升策略，实现资源与性能的最佳平衡。
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
日积月累，天道酬勤
09-07 2154
⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化，对矩阵乘法中的每个内积使用单独的归一化常数，从而对大多数特征进行量化。然而，对于突现的异常值(outlier)，还包括了一种新的混合精度分解方案，将异常特征维度隔离到16位矩阵乘法中，同时仍然有99.9%以上的值在8位中进行乘法运算。
HAWQ：基于 Hessian 的混合精度神经网络量化
u012347027的博客
11-28 3675
HAWQ：基于 Hessian 的混合精度神经网络量化摘要动机方法海森方法的有效性分析海森矩阵方法推导根据幂迭代求海森矩阵的最大特征值根据海森矩阵最大特征值确定量化精度与顺序实验结果ResNet20 On CIFAR-10ResNet50 on ImageNetSqueezeNext on ImageNetInception-V3 on ImageNet消融实验海森混合精度量化的有效性Block-Wise微调的有效性 本文为 UC Berkeley 大学发表在 ICCV 2019上的混合精度量化论文。旨在
BitPack:BitPack是一种实用工具，可有效保存超低精度混合精度量化模型
05-22
比特包 BitPack是一种实用的工具，可以有效地保存具有混合位宽的量化神经网络模型。 安装 版本> = 1.4.0 Python版本> = 3.5 要安装Bitpack，只需运行： git clone https://github.com/Zhen-Dong/BitPack.git cd BitPack 用法 我们可以使用BitPack pack.py保存具有各种位宽的整数检查点，并使用BitPack unpack.py加载打包的检查点，如演示中所示。 要打包以浮点格式保存的整数值，请在命令中添加--force-pack-fp。 要直接在PyTorch中保存打包的检查点，请在pytorch_interface.py中使用save_quantized_state_dict（）和load_quantized_state_dict（）。 如果不想对state_dict进行联合操作，则
LLMs开源模型们的分布式训练和量化
nakaizura
05-25 2617
这篇博文主要整理一下目前流行的训练方法和量化。使通用LLMs适应下游任务的最常见方法是微调所有模型参数或微调尾层参数（Freeze）。然而这会导致每个任务都有一份单独的微调模型参数，训练成本高。- Adapter。冻结原有参数，添加adapter层用于微调。adapter层一般先向下投影，然后非线性激活函数，再使用向上投影，最后接残差连接。
LLM量化
weixin_43895517的博客
05-13 718
针对每种任务，学习prefix vector启发于prompting，调整上下文内容让模型去输出自己想要的内容核心就是找到一个上下文去引导模型解决NLP生成任务传统情况下，我们为了得到想要的结果，会人工去设计一些模版，这被称为硬模板这种人工设计模版的方式往往需要大量尝试，所以另一种可以通过模型学习的，添加一组没有明确意义的prompt tensor的方式被提出，叫做软模板实际实现中，就是添加了一个embedding层，形状为prefix_tokens * target_dims,
混合精度量化模型指标模拟计算（BitOps与参数规模）
qq_39068200的博客
03-17 1058
本文提取了LIMPQ算法源码，实现了混合精度量化模型的BitOps和参数规模的计算。
LLM基础｜模型后量化原理、量化类型及方式、量化实现效果
weixin_49659123的博客
12-21 3171
详细介绍了模型量化的方式
LLM权重量化
wangyifan123456zz的博客
02-25 1309
我们可以计算尺度是255/(3.2+3.0) = 41.13，zero point为 -round(41.13•-3.0)-128 = 123- 128 = -5，因此我们之前的0.1权重将被量化为round（41.13 * 0.1 - 5）= -1。然而，它们的局限性，特别是在处理异常值时，导致了LLM.int8()，这种技术也保留了模型的性能。通常，模型的大小是通过将**参数的数量(大小)乘以这些值的精度(数据类型)**来计算的。现在我们的模型已经被量化了，我们想要检查这个过程的影响。
LLM：混合精度&量化概述
qq_43814415的博客
08-02 1500
浮点数在计算机中的存储方式由符号位（sign）、指数位（exponent）和小数位（fraction，也称为尾数、mantissa）组成。
HAQ：硬件感知的自动混合精度量化系统
u012347027的博客
12-13 3070
HAQ：硬件感知的自动混合精度量化系统摘要方法整体量化框架状态空间（Observation & State）卷积层全连接层动作空间（Action Space）量化方法奖赏函数（Reward Function）RL AgentQ-functionloss function实验结果面向边缘与云端的量化结果延时约束与能量约束下的量化结果模型大小约束下的量化结果 本文是MIT韩松团队发表在 CVPR 2019 Oral 上的论文，本文提出了一种基于强化学习策略的自动化的量化框架，并将硬件架构包含在循环中，
模型 训练 等分辨率整理
03-23
### 如何在保持分辨率不变的情况下对模型进行训练 为了实现模型训练过程中保持分辨率不变的目标，可以借鉴一些先进的技术手段以及理论支持。以下是具体的方法整理： #### 1. 数据表示形式的一致性 通过将输入数据转换为统一的结构化表达方式来维持分辨率一致性。例如，在视觉领域中，LVM（Large Visual Model）方法会将图像数据转化为 **visual sentences** 的形式[^1]。这种转化不仅能够标准化不同尺寸的输入数据，还能够在后续处理阶段保留原始的空间信息。 #### 2. 自适应混合精度量化策略的应用 采用自适应混合精度量化方法可以帮助减少计算资源消耗的同时不降低输出质量。这种方法的核心在于根据不同部分的重要性动态调整其数值范围内的精确度级别。LLM.int8 提供了一种有效的解决方案——即通过对权重矩阵实施分区域设定量化等级并移除可能引起误差扩大的离群值操作从而达到稳定效果的目的[^2]。 #### 3. 扩展规模与验证有效性 当涉及到大规模数据集上的应用时，则需考虑扩展训练过程中的各个维度参数大小关系及其相互作用规律。这一步骤对于确认所选方案能否成功应用于实际场景至关重要。正如 LVM 中所做的那样，不仅要增加训练样本数量还要同步提升网络内部组件的数量级以便更好地捕捉复杂模式特征，并最终证明这些改变确实有助于增强系统的泛化能力和上下文理解力。 ```python def train_model_with_fixed_resolution(data, model): """ 训练模型同时保持输入分辨率固定 参数: data (list): 输入数据列表 model (object): 待训练的神经网络模型实例 返回: trained_model (object): 完成训练后的模型对象 """ # 将所有图片转为 visual sentences 形式 processed_data = convert_to_visual_sentences(data) # 应用自适应混合精度量化到模型上 quantized_model = apply_adaptive_mixed_precision_quantization(model) # 开始正式训练流程 for epoch in range(num_epochs): for batch in create_batches(processed_data): outputs = quantized_model(batch) loss = compute_loss(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() return quantized_model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值