使用LLaMA-Factory进行模型量化

已于 2024-11-05 13:38:20 修改
阅读量2.5k 收藏 7
点赞数 5
文章标签： llama python
于 2024-11-04 16:26:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiong_wq/article/details/143487351
版权

在这里插入图片描述

使用LLaMA-Factory进行模型量化

以下实验基于微调后模型进行量化。针对基座模型的直接量化，可以使用与部署中使用的数据类型紧密匹配的公开通用数据集作为校准数据集量化（任意数据集）该部分可以参考使用llm-compressor。

量化方法

LLaMA-Factory 支持多种量化方法，包括:

  • AQLM
  • AWQ
  • GPTQ
  • QLoRA
  • …
    GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。

量化导出

使用GPTQ和AWQ等后训练量化方法对模型进行量化时，需要进行以下步骤：（即使直接使用AutoAWQ和AutoGPTQ对qwen进行量化都需要进行以下步骤）

  1. 对模型进行微调
  2. 构建校准数据集
  3. 将微调后模型进行量化导出

以下是量化导出时使用的yaml文件以及其中的基础参数

### examples/merge_lora/llama3_gptq.yaml 
### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct #预训练模型的名称或路径
template: llama3 #模型模板

### export
export_dir: models/llama3_gptq    # 导出路径
export_quantization_bit: 4    #量化位数[8, 4, 3, 2]
export_quantization_dataset: data/c4_demo.json   #量化校准数据集
export_size: 2    #最大导出模型文件大小
export_device: cpu   #导出设备，还可以为cuda
export_legacy_format: false  #是否使用旧格式导出

当使用参数export_quantization_bit时直接使用auto-gptq

校准数据集

格式需要严格参考以下形式：
在这里插入图片描述

  • 使用训练集进行构造
  • 构造方式：instruction+input+ouput=>text
  • 校准数据集不用很大，默认只会用 128 个样本
  • 格式转换代码路径：/project/LLaMA-Factory_test2/datasets_convert_quanti_datasets.py

llamafactory对校准数据集进行采样时，如果样本长度太短会爆出以下错误：
在这里插入图片描述

解决方法：设置export_quantization_maxlen稍小一些即可

### model
model_name_or_path: model_path_dir
template: qwen

### export
export_dir: save_dir
export_quantization_bit: 4
export_quantization_maxlen: 300
export_quantization_dataset: /datasets/demo.json
export_size: 2
export_device: cuda
export_legacy_format: false

注意事项

由于GPU硬件支持参数精度有规定，在部署量化模型时需要考虑设备性能。

  1. nvidia服务器硬件支持精度参数：
    https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#hardware-precision-matrix

  2. GPU计算能力：
    https://developer.nvidia.com/cuda-gpus#collapseOne

xiong_wq
关注
LLaMA Factory单机微调的实战教程
herosunly的博客
04-24 20万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2880
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
使用llama-factory和llama.cpp微调量化Qwen2
weixin_48597428的博客
07-19 1298
在目录LLaMA-Factory/examples/train_lora/llama3_lora_sft_praise.yaml。2.将处理好的数据集上传到/data 文件夹下面，并修改dataset_info.json文件。生成模型将会放在LLaMA-Factory/saves下面。将合并后的模型转化为fp16精度的gguf格式文件。量化为int4精度的模型。1.选定数据集的格式。自己的测试acc脚本。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 2万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
llamafactory的参数详解 1：（量化等级和方法 RoPE插值方法 加速方式），会对照图片解释，适合小白
ntrybw的博客
03-18 1018
量化等级是指将连续或高精度的数据（如浮点数）转换为离散或低精度表示（如整数）时所划分的“级别”数量。量化等级决定了数据的表示范围和精度。
【解决llama-factory导出并量化模型时爆显存】
最新发布
Ob1_M的博客
04-23 204
即可，本质上这个问题是通过将模型放在cpu上加载，gpu上量化解决的。导出模型后记得改回来，万一以后能用上更大显存的服务器呢？这时候在cpu上加载模型就是浪费时间了。服务器GPU是3090Ti-24G，用llama-factory来QLoRA微调Qwen2.5-14B-Instruct之后就该导出模型了。主要原因是直接在gpu上加载了高精度模型。
大模型开发和微调工具Llama-Factory--＞量化2(AQLM和OFTQ)
weixin_46034279的博客
12-01 1240
作者们探讨了如何通过加性量化(Additive Quantization, AQ)方法实现大型语言模型(LLMs)的极端压缩，目标是将模型的比特数压缩到每个参数仅2到3比特。图 1：在 LLAMA2 的 7, 13 和 70B 模型上，AQLM(2 位)相对于最先进的 QuIP#（2 位）和原始 16 位权重的比较。大模型的参数量通常达到数十亿级别，需要大量的计算和存储资源。本文证明，通过我们提出的半二次量化 (HQQ) 方法进行免校准量化，其质量可与 GPTQ 和 AWQ 等依赖数据的流行方法相媲美。
LLaMA Factory对大模型微调和导出量化操作
沐雪架构师
03-21 1237
14、输出目录：会自动生成一个路径，要确保每次的目录都不相同，若已存在，则需要去服务器上删除，目录在llamafactory-save目录下。11、截断长度：长度越长越占显存，根据样本里的文本长度，大部分数据的最大长度值即可，比如，有90%的样本数据的长度是200，这里填写200.12、批处理大小：超参数，需要根据你服务器的配置，尝试运行几次，找到资源利用率最高的数值。4、对话模板：不同的模型对应的对话模板是不一样的。3、检查点路径：训练过程中保存的权重，可从其中的一个权重重新训练。
LLaMA-Factory微调llama3之模型的合并，并采用llama.cpp量化成ollama支持的gguf格式模型，生成api使用
猪神-PIGGOD
08-08 7080
上期我们已经成功的训练了模型，让llama3中文聊天版知道了自己的名字这次我们从合并模型开始，然后使用llama.cpp量化成gguf格式，并且调用api。
张宏刚245页ppt《大语言模型基础导论》（研究生课程）附资源
2401_85375186的博客
02-21 1044
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
LLaMA Factory 如何对大模型进行微调、导出和量化！掌握这几步，轻松搞定！
m0_59235245的博客
04-12 1104
指令监督微调(Instruct Tuning)通过让模型学习详细的指令以及对应的回答来优化模型在特定指令下的表现。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。下面是一个例子。
在Modelarts上微调量化Llama3，并用docker部署
普通人能赶追天才的方法只有坚持
06-10 1550
本文先使用llama-factory去微调llama3大模型，然后使用llama.cpp去量化模型并用docker部署到服务器上让qq机器人能够调用服务，实现qq群内问答。
使用LLaMA-Factory快速训练自己的专用大模型
程序员，AI探索者
09-04 1659
大家好，我是每天分享AI应用的萤火君！本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
H66778899的博客
07-21 8309
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
使用LLaMA-Factory微调大模型
weixin_29520441的博客
05-31 1334
使用LLaMA-Factory微调大模型
解析 Llama-Factory：从微调到推理的架构
xxue345678的博客
09-16 1003
在人工智能（AI）领域，尤其是自然语言处理（NLP）技术迅速发展的今天，如何高效地微调和部署大型语言模型（LLM）成为了研究和应用的热点。Llama-Factory 作为一个开源的微调框架，正是在这一背景下应运而生。它旨在为开发者提供一个简便、高效的工具，以便在现有的预训练模型基础上，快速适应特定任务需求，提升模型表现。Llama-Factory 支持多种流行的语言模型，如 LLaMA、BLOOM、Mistral、Baichuan 等，涵盖了广泛的应用场景。
【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始
木亦汐丫
12-09 1823
前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务。今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。首先我们来认识一下，它是一个在 GitHub 上开源的项目，为大语言模型（LLM）的训练、微调和部署提供了一个简便且高效的框架。该项目旨在简化和加速 LLaMA以及其他多种大型语言模型的微调过程，使得即使是非专业用户也能轻松上手。功能介绍。
小白学大模型：LLaMA-Factory 介绍与使用
2301_78285120的博客
07-28 1562
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。Efficient fine-tuning对于将大型语言模型（LLMs）调整到下游任务中至关重要。然而要在不同模型上实现这些方法需要付出相当大的努力。
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
kaka0722ww的博客
04-22 2838
本文提出LLAMA FACTORY，一个集成了一套高效训练方法的统一大型语言模型微调框架。它允许用户灵活定制100+ LLM的微调，而无需通过内置的web UI LLAMA板进行编码。实证验证了该框架在语言建模和文本生成任务上的效率和有效性。目前已在Github上开源，地址https://github.com/hiyouga/LLaMA-Factory。
llamafactory参数
01-20
### LLaMA-Factory 参数配置说明 #### 模型加载与路径设置 当点击模型名称时，会自动弹出可选择的模型列表，同时显示对应于 Hugging Face 上的模型标识符。然而，通常的做法是从 Hugging Face 或 ModelScope 将模型参数下载至本地，并在模型路径中指定该本地文件的绝对地址，例如 `C:\Users\chen\Desktop\copy\chatglm3`[^2]。 #### 微调方法及其应用 对于大规模语言模型而言，采用 LoRA（低秩适配）是一种有效的微调策略。这种方法允许在保持原有预训练模型结构不变的前提下，仅调整新引入的小规模网络层中的参数。这不仅降低了计算资源的需求，而且能够有效减少约三分之二的显存占用率，特别适用于像 GPT-3 这样拥有庞大参数量的语言模型[^1]。 #### 配置选项详解 - **量化等级**：决定如何压缩模型权重以节省内存空间并提高推理速度。 - **量化方法**：具体实现上述压缩的技术手段。 - **提示模板**：定义输入给定文本的形式以及期望输出的内容样式。 - **RoPE 插值方法**：用于处理旋转位置编码的一种技术，有助于增强长序列建模能力。 - **加速方式**：探索不同硬件平台下的性能优化方案，如 GPU 加速等。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "path/to/local/model" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path) # 应用LoRA微调 from peft import get_peft_model, LoraConfig config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", ) peft_model = get_peft_model(model, config) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值