AutoGTPQ简介
AutoGPTQ是一个开源工具包，专注于简化大规模语言模型(LLMs)的量化过程。它基于高效的GPTQ算法开发，主要使用Python编程语言，并依托PyTorch框架来实现量化功能。AutoGPTQ的设计目标是为开发者和研究人员提供一个易于使用的API接口，即使对量化技术不太了解的用户也能轻松进行模型量化。通过采用仅量化权重的方式，该工具包在尽量减少性能损耗的情况下，缩减了模型体积，提升了部署的效率。
AutoGPTQ的主要功能包括：
- 模型量化：支持将大模型如BERT、OPT量化为4位版本，显著降低存储需求并加快推理速度。
- 简洁API：提供易用的API，简化量化操作。
- 性能优化：通过优化策略保持原模型的推理性能，适用于资源受限的场景。
- 跨平台支持：兼容Linux、Windows及NVIDIA、AMD和Intel Gaudi等硬件平台。
- Triton集成（可选）：在Linux系统中，通过Triton进一步提升推理性能。
最近的更新加入了Marlin内核支持，并集成Transformer、Optimum和PeFT库，使量化模型的运行和训练更加高效便捷。
源2.0-M32大模型适配AutoGPTQ量化工具教程
- AutoGPTQ量化过程
以下是官方提供的量化案例，详细的量化过程如下：
- 首先，通过自定义的类AutoGPTQForCausalLM的from_pretrained方法来初始化模型。在这一过程中，需要传入两个核心参数：第一个参数是模型的存储路径，用于加载预训练模型；第二个参数是与量化相关的配置，该配置由 BaseQuantizeConfig 类来管理和维护。BaseQuantizeConfig 允许用户根据需求自定义量化的精度（例如4位或8位）以及其他关键的量化参数。这一步骤确保模型加载时为后续的量化步骤做好准备
- 接着，将预处理后的量化数据（例如量化样本 examples）传递给 AutoGPTQForCausalLM 的 quantize 方法，用于实际执行模型量化。quantize 方法会根据传入的示例数据和量化配置，对模型的权重进行调整，将模型的参数从高精度（例如32位浮点数）转换为低比特位表示（如4位或8位）。这一过程中的量化策略基于 GPTQ 算法，旨在尽可能减少模型性能的损失，同时显著降低模型的计算和存储成本。量化后的模型在推理时占用更少的资源，但仍能保持接近原模型的准确性。
- 完成量化后，量化模型将通过 AutoGPTQForCausalLM 提供的保存机制进行保存。量化后的模型通常会存储为较小的文件，便于后续的加载和部署。保存后的模型可以直接用于推理，且无需再次进行量化处理，大大提升了使用的便捷性。
注：AutoGPTQForCausalLM是工具提供的专用加载类，通过GPTQ_CAUSAL_LM_MODEL_MAP (在auto_gptq/modeling/auto.py中定义的字典)来维护支持量化的模型类型；AutoGPTQForCausalLM类中的核心方法都继承自_base.py中的BaseGPTQForCausalLM类。
- 源2.0-M32大模型适配AutoGPTQ过程
由于源2.0-M32大模型不在AutoGPTQ的模型库中，我们需要修改模型的加载过程；同时AutoGPTQ量化每一个模型时都需要重新定义一个GPTQForCausalLM类来维护需要被量化的网络层。具体的适配过程如下：
1）修改模型的初始化过程过程
源2.0-M32大模型并不在AutoGPTQ的预定义模型库（GPTQ_CAUSAL_LM_MODEL_MAP）中，因此我们无法直接通过 AutoGPTQForCausalLM.from_pretrained 方法进行加载。为此，我们需要自定义加载过程：
*在auto_gptq/modeling/_base.py 文件中，将源2.0-M32模型的transformers加载逻辑替换 AutoGPTQForCausalLM 中的 AutoModelForCausalLM 方法。相当于通过手动初始化源2.0-M32模型的方式来绕过AutoGPTQ原本的模型初始化逻辑。
2）自定义YuanGPTQForCausalLM 类
由于模型量化需要逐层执行，且针对不同模型结构需要自定义相应的网络层，所以我们需要定义一个新的 GPTQForCausalLM 类。具体步骤如下：
*在auto_gptq/modeling/ 路径下新建一个yuan.py文件，并在其中定义一个 YuanForCausalLM 类。该类将继承 BaseGPTQForCausalLM，并负责维护需要量化的网络层。
*在YuanGPTQForCausalLM 类中，列举出所有需要被量化的inside_layer_modules
*将YuanGPTQForCausalLM类添加到auto_gptq/modeling/auto.py中的GPTQ_CAUSAL_LM_MODEL_MAP中
3）数据准备和量化
*根据源2.0-M32模型上传指定的数据集并完成分词预处理
*参照上述量化过程编写量化脚本，逐步调试AutoGPTQ量化过程
注：数据集参考链接：https://huggingface.co/datasets/hakurei/open-instruct-v1
AutoGPTQ量化源2.0-M32大模型以及量化模型的推理教程
依据上述思路适配完成的AutoGTPQ代码已经上传至源2.0-M32项目，以下内容将介绍具体的hf模型量化教程和量化后的int4/int8模型推理教程，包括环境配置、量化步骤、推理和相关参数说明等等。
- AutoGPTQ环境配置和安装
- AutoGPTQ环境配置要求：CUDA版本高于11.8
- 容器：使用vllm项目提供的镜像创建容器
# 进入容器
docker exec -it vllm_yuan bash
# 进入你的工作目录
cd /mnt
# 拉取我们的项目
git clone https://github.com/IEIT-Yuan/Yuan2.0-M32.git
# 进入autogptq项目
cd Yuan2.0-M32/3rd_party/AutoGPTQ
# 安装autogptq
pip install auto-gptq --no-build-isolation
- 量化源2.0-M32大模型
量化源2.0-M32模型主要分为三步：
1.下载Yuan2-M32 hugging face模型
首先，需要从 Hugging Face 下载 Yuan2-M32 模型并移动到指定的文件路径：
- 模型下载地址：https://huggingface.co/IEIT-Yuan/Yuan2-M32-hf
- 下载完成后，将模型文件放置到目标目录，如/mnt/beegfs2/Yuan2-M32-HF
- 具体可以参考vllm中模型的下载方式
2. 数据集下载
接下来，需要准备适用于量化的训练或推理数据集：
- 数据集下载：点击这里下载需要的数据集。
- 下载完成后，将数据集移动到指定的文件路径，例如 /mnt/beegfs2/。
3. 按照以下步骤调整量化参数进行量化操作
# 编辑Yuan2-M32-int4.py
cd /mnt/beegfs2/Yuan2.0-M32/3rd_party/AutoGPTQ
vim Yuan2-M32-int4.py
'''
pretrained_model_dir = "/mnt/beegfs2/Yuan2-M32-HF"
quantized_model_dir = "/mnt/beegfs2/Yuan2-M32-GPTQ-int4"
tokenizer = LlamaTokenizer.from_pretrained("/mnt/beegfs2/Yuan2-M32-HF", add_eos_token=False, add_bos_token=False, eos_token='<eod>', use_fast=True)
tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)
examples = []
with open("/mnt/beegfs2/instruct_data.json", 'r', encoding='utf-8') as file: # 数据集路径
data = json.load(file)
for i, item in enumerate(data):
if i >= 2000:
break
instruction = item.get('instruction', '')
output = item.get('output', '')
combined_text = instruction + " " + output
examples.append(tokenizer(combined_text))
max_memory = {0: "80GIB", 1: "80GIB", 2: "80GIB", 3: "80GIB", 4: "80GIB", 5: "80GIB", 6: "80GIB", 7: "80GIB"}
quantize_config = BaseQuantizeConfig(
bits=4, # quantize model to 4-bit
group_size=128, # it is recommended to set the value to 128
desc_act=False, # set to False can significantly speed up inference but the perplexity may slightly bad
)
'''
# 1.修改pretrained_model_dir，指定量化后的quantized_model_dir
# 2.修改数据集路径
# 3.max_memory可以指定要使用的GPUs
# 4.修改量化参数，若要int4精度bits=4，若要int8精度bits=8，其他参数可以参考默认值
# 运行此脚本
python Yuan2-M32-int4.py
# 模型量化和packing过程耗时约8h，可以指定不同的GPU同时分别量化int4和int8
- 源2.0-M32-int4/int8模型推理
量化完成后，目标路径文件夹中会生成.safetensors后缀的ckpt文件以及config.json、quantize_config.json文件，推理时需要先从Yuan2-M32-HF路径中拷贝tokenizer相关的文件，再通过用以下步骤完成推理。
# 进入Yuan2-M32-HF路径
cd /mnt/beegfs2/Yuan2-M32-HF
# 拷贝tokenizer相关文件至Yuan2-M32-GPTQ-int4
cp special_tokens_map.json tokenizer* /mnt/beegfs2/Yuan2-M32-GPTQ-int4
# 编辑inference.py
cd /mnt/beegfs2/Yuan2.0-M32/3rd_party/AutoGPTQ
vim inference.py
'''
quantized_model_dir = "/mnt/beegfs2/Yuan2-M32-GPTQ-int4"
tokenizer = LlamaTokenizer.from_pretrained('/mnt/beegfs2/Yuan2-M32-GPTQ-int4', add_eos_token=False, add_bos_token=False, eos_token='<eod>')
tokenizer.add_tokens(['<sep>', '<pad>', '<mask>', '<predict>', '<FIM_SUFFIX>', '<FIM_PREFIX>', '<FIM_MIDDLE>','<commit_before>','<commit_msg>','<commit_after>','<jupyter_start>','<jupyter_text>','<jupyter_code>','<jupyter_output>','<empty_output>'], special_tokens=True)
model = AutoGPTQForCausalLM.from_quantized(quantized_model_dir, device="cuda:0", trust_remote_code=True)
'''
# 修改quantized_model_dir和tokenizer路径
# 运行inference.py
python inference.py
参考链接：
1.AutoGPTQ的Github项目地址：
https://github.com/AutoGPTQ/AutoGPTQ
2.源2.0-M32适配的AutoGPTQ项目地址：
https://github.com/IEIT-Yuan/Yuan2.0-M32/tree/main/3rd_party/AutoGPTQ
3.AutoGPTQ量化源2.0-M32模型以及量化模型的推理教程参考链接：
https://github.com/IEIT-Yuan/Yuan2.0-M32/blob/main/3rd_party/AutoGPTQ/README_GPTQ.md
4.vllm项目相关链接:
https://github.com/IEIT-Yuan/Yuan2.0-M32/blob/main/vllm/README_Yuan_vllm.md
扫一扫
851
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
