8.transformers量化

已于 2024-06-12 20:38:40 修改
阅读量916 收藏 24
点赞数 9
分类专栏： 大模型微调 文章标签： 语言模型
于 2024-06-12 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YPeng_Gao/article/details/139610578
版权
本文介绍了Transformers模型的量化技术，包括Auto Classes的设计，如AutoConfig、AutoModel和AutoTokenizer，以及模型量化方法，如GPTQ和AWQ。GPTQ是一种针对大型GPT模型的量化技术，能显著减少模型大小和计算需求，而AWQ通过保护少量关键权重，减少量化误差。文章还提到了BitsAndBytes库，用于8位和4位模型量化。
摘要由CSDN通过智能技术生成

Transformers 核心设计Auto Classes

Transformers Auto Classes 设计：统一接口、自动检索

AutoClasses 旨在通过全局统一的接口 from_pretrained() ，实现基于名称（路径）自动检索预训练权重（模
型）、配置文件、词汇表等所有与模型相关的抽象。

请添加图片描述

灵活扩展的配置AutoConfig

transformers.AutoConfig 类实例化通常由from_pretrained(pretrained_model_name_or_path, ) 方法完成。
Transformers 根据配置中的 model_type 加载预定义配置，兜底方案是基于模型名称/路径自动推断。

自动化模型管理 AutoModel

transformers.AutoModel 类实例化通常由from_pretrained() 或 from_config() 方法完成。
换句话说，Transfor

了解本专栏 订阅专栏 解锁全文 超级会员免费看
（initial）
关注
专栏目录
订阅专栏
巨型语言模型的 8 位量化：LLM.int8()
步子哥的博客
06-12 701
大型语言模型（LLM）在自然语言处理领域取得了巨大成功，但其推理过程需要大量的 GPU 内存。本文将介绍一种针对 Transformer 架构中前馈层和注意力投影层的 8 位矩阵乘法方法，该方法可以将推理所需的内存减半，同时保持与全精度模型相同的性能。
transformers quantization bitsandbytes实时量化方法使用load_in_4bit，load_in_8bit；量化模型保存及加载使用
weixin_42357472的博客
08-28 283
参考： https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes?bnb=8-bit https://www.atyun.com/57101.html https://huggingface.co/blog/4bit-transformers-bitsandbytesbitsandbytes错误参考： https://cnloong.blog.csdn.net/article/details/141607933使用q
Transformers量化模型加速推理 —— 以CodeLlama-34b-Instruct-hf为例
行步至春深
10-24 1292
推理速度接近量化前的两倍。占用最高显存约为量化前的四分之一。
transformer实现模型量化
cancer_s的博客
10-09 1468
量化（Quantization）技术专注于用较少的信息表示数据，同时尽量不损失太多准确性。具体来说，量化会将模型参数使用的数据类型，转换为更少位数表示，并尽可能达到相同信息的效果。同时，较低的精度还可以，因为使用较少位进行计算所需要的时间更短。eg:模型权重原始以32位浮点数存储（Float32）
Transformers实战05-模型量化
liaomin416100569的专栏
08-06 1460
模型量化（Model Quantization）是一种优化技术，旨在减少机器学习模型的计算资源需求和存储空间，同时在精度损失最小化的前提下提高推理效率。量化通过将模型权重和激活函数的数值从高精度（如 32 位浮点数）转换为低精度（如 8 位整数），显著减少了模型大小和计算复杂度。
使用 Transformers 量化 Meta AI LLaMA2 中文版大模型
折腾技术
07-22 1742
本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右显存就能够运行。
实战Transformers模型量化Facebook OPT
Whitney66的博客
07-26 1381
本文详细介绍了模型量化的理论和实践，包括量化方法、量化效果、微调过程以及实战操作。通过对比不同模型的量化效果，强调了量化在减少资源开销方面的优势。同时，演示了如何使用transformers库进行GPTQ的量化，并介绍了相关的配置参数。
Fast and Effective！一文速览轻量化Transformer各领域研究进展
zenRRan的博客
10-25 1601
每天给你送来NLP技术干货！© 作者｜刘子康机构｜中国人民大学高瓴人工智能学院研究方向 | 多模态学习来自 |RUC AI Box本文梳理了一些Transformer常用的轻量化方法，并分领域的介绍了一些主流的轻量化Transformer。引言：近年来，Transformer模型在人工智能的各个领域得到了广泛应用，成为了包括计算机视觉，自然语言处理以及多模态领域内的主流方法。尽管Transfo...
基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar
11-17
基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现...
Transformers模型量化
最新发布
xiaomu_347的博客
11-06 39
LLM模型量化部署
一文详解视觉Transformer模型压缩和加速策略(量化/低秩近似/蒸馏/剪枝)
AI全栈 和 IT 编程相关分享
04-19 2417
Transformer，由Vaswani等人引入，以其强大的数据建模能力、可伸缩性以及出色的捕捉长距离依赖性的能力，彻底改变了机器学习。起源于自然语言处理（NLP）领域，取得了机器翻译和文本摘要等方面的成功，Transformer现在将其实用性扩展到计算机视觉任务，如图像分类和目标检测。最近，它们的能力已经在多模态情感分析领域得到了利用，其中它们整合和解释多样的数据流——文字、视觉和声音——以评估情感反应。
量化HuggingFace的Transformers 模型
我的一些代码。。。
08-18 1206
量化 🤗 Transformers 模型
Transformer量化部署初步探讨
Artyze的博客
07-23 3204
transformer部署探讨
Transformers 中原生支持的量化方案概述
小然的百宝盒
01-03 293
通过本文，我们比较了多种设置下的 bitsandbytes 和 GPTQ 量化。我们发现，bitsandbytes 更适合微调，而 GPTQ 更适合生成。(1) 使用 bitsandbytes 量化基础模型 (零样本量化)(2) 添加并微调适配器(3) 将训练后的适配器合并到基础模型或反量化模型之中！(4) 使用 GPTQ 量化合并后的模型并将其用于部署我们希望这个概述让每个人都能更轻松地将 LLM 应用至各自的应用场景中，我们期待看到大家用它构建自己的有趣应用！
微调llama 3 — PEFT微调和全量微调
xiaoxiaoyu290的博客
04-24 8258
高效微调llama3
Llama 3的微调、量化、知识库接入及部署
xx_nm98的博客
05-13 2229
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
热门推荐
luckyuxuan的博客
10-25 2万+
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
Transformer在量化投资的应用
bigquant的博客
12-29 3496
本文将对Attention、Transformer以及其在选股策略中的应用进行讲解
【python量化】广发证券研报：Transformer 架构下的量价选股策略
敲代码的quant的博客
04-14 3623
以下内容来自知乎链接：https://zhuanlan.zhihu.com/p/620820228作者：日暮途远 已获得作者同意转载。最近看到了一篇广发证券的关于使用Transformer进行量化选股的研报，在此进行一个复现记录，有兴趣的读者可以进行更深入的研究。来源：广发证券应用的Transformer架构其中报告中基于传统Transformer的改动如下：1.替换词嵌入层为线性层:在NLP领...
在Hugging Face transformers中使用AWQ量化模型
10-09
在Hugging Face Transformers库中，使用AWD-QAModel（即Abridged Wasserstein Distance Quantization Model）通常涉及到将预训练的大型语言模型进行量化，以便于部署到资源有限的设备上，如手机或嵌入式系统。AWD量化是通过Quantization-Aware Training (QAT) 过程实现的，它允许模型在训练过程中就考虑到量化的影响。 以下是使用Hugging Face Transformers进行AWD量化模型的基本步骤： 1. **安装依赖**： 首先，你需要安装`transformers`库及其相关的量化工具包，例如`transformers quantization`。可以使用pip安装： ``` pip install transformers[quantization] ``` 2. **加载模型**： 导入需要的模块并加载预训练的模型，比如BERT、GPT-2等： ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification, is_apex_available, AWDQConfig model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) ``` 3. **量化配置**： 创建一个AWD量化配置对象： ```python config = AWDQConfig(model=model) ``` 4. **准备数据**： 将数据转换成模型接受的格式，并分割成小批次，这对于量化过程很重要。 5. **量化训练**： 使用`Trainer` API进行量化训练，这会自动在训练过程中应用量化技巧： ```python trainer = Trainer( model=model, args=..., data_collator=..., train_dataset=..., eval_dataset=..., # 可选 tokenizer=tokenizer, config=config, compute_metrics=..., ) trainer.train() ``` 6. **保存量化模型**： 训练完成后，你可以保存量化后的模型： ```python trainer.save_model("path/to/save/awd_quantized_model") ``` 7. **部署**： 现在可以将这个量化模型用于推理任务，相比未量化模型，它的内存占用更小，速度更快。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

（initial）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值