LLaMA-Factory微调Qwen2.5-7B模型

已于 2025-02-20 09:30:23 修改
阅读量2.1k 收藏 45
点赞数 52
分类专栏： LLM 文章标签： 笔记 llama 自然语言处理 深度学习 tensorflow
于 2025-02-19 22:34:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46325481/article/details/145529987
版权

本次实验环境使用的魔塔社区的机子

准备LLaMA-Factory环境

git clone https://github.com/hiyouga/LLaMA-Factory.git

创建虚拟环境

一般的可以使用anaconda ，miniconda 这个免费的机器有限我就使用python的venv来创建虚拟环境

root@eais-bjmklatuw19ea8k68zju-0:/mnt/workspace# python --version
Python 3.10.14
root@eais-bjmklatuw19ea8k68zju-0:/mnt/workspace# python -m venv llama_factory

激活环境，下载依赖

root@eais-bjmklatuw19ea8k68zju-0:/mnt/workspace# source llama_factory/bin/activate
(llama_factory) root@eais-bjmklatuw19ea8k68zju-0:/mnt/workspace# cd LLaMA-Factory/
(llama_factory) root@eais-bjmklatuw19ea8k68zju-0:/mnt/workspace/LLaMA-Factory# pip install -e ".[torch,metrics,swanlab]"
Looking in indexes: https://mirrors.cloud.aliyuncs.com/pypi/simple
Obtaining file:///mnt/workspace/LLaMA-Factory
  Installing build dependencies ... done
  Checking if build backend supports build_editable ... done
  Getting requirements to build editable ... done
  Preparing editable metadata (pyproject.toml) ... done
Collecting gradio<=5.12.0,>=4.38.0
  Downloading https://mirrors.cloud.aliyuncs.com/pypi/packages/7a/70/fb8611fabeb432d05946ef89d7acc6fde6c7e85ca9a05d39626b4cdf1a17/gradio-5.12.0-py3-none-any.whl (57.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 57.6/57.6 MB 32.9 MB/s eta 0:00:00
Collecting pydantic...
source llama_factory/bin/activate #激活环境
cd LLaMA-Factory/  #切换目录
pip install -e ".[torch,metrics,swanlab]" #下载依赖
pip install bitsandbytes>=0.39.0 #下载bitsandbytes

使用SwanLab记录实验数据

去官网创建一个账号，在虚拟环境登录

swanlab login
粘贴复制的API token

下载模型

在modescope当中寻找相应的模型，这里使用ModelScope下载

主意路径和放在/mnt/workspace/下
modelscope download --model Qwen/Qwen2.5-7B-Instruct

下载数据集

需要的格式为Apache格式，在数据集当中寻找你需要的

使用什么下载都ok，最后要将数据文件存放在/mnt/workspace/LLaMA-Factory/data下

编辑训练文件

/mnt/workspace/LLaMA-Factory/examples/train_qlora/下复制一份llama3_lora_sft_awq.yaml为qwen_lora_sft_bitsandbytes.yaml然后编辑这个文件

AWQ 

  • 含义：AWQ 是 Activation-aware Weight Quantization 的缩写，是一种量化技术。

  • 用途：用于存储经过 AWQ 量化处理的模型文件。AWQ 是一种高效的量化方法，能够在保持模型性能的同时显著减少模型大小和推理时间。

  • 特点：AWQ 通常会根据激活值（activation）的分布动态调整权重量化策略，从而在低精度下保持较高的模型精度。

bnb_npu

  • 含义：bnb 是 BitsandBytes 的缩写，而 npu 指的是 Neural Processing Unit（神经网络处理单元）。

  • 用途：bnb_npu BitsandBytes 库针对 NPU 优化的量化工具或方法。

  • 特点：

    • BitsandBytes 是一个流行的量化库，支持 8 位和 4 位量化。

    • npu 表示该方法针对 NPU（如华为 Ascend、高通 Hexagon 等）进行了优化，以提高在这些硬件上的推理效率

### model
#修改为你模型的位置
model_name_or_path: /mnt/workspace/Qwen
quantization_bit: 4
# trust_remote_code: true

### method
stage: sft
do_train: true
finetuning_type: lora
lora_rank: 8
lora_target: all

### dataset
dataset: law
template: qwen
cutoff_len: 2048
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: saves/qwen2.5-7b/lora/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000


# 配置swanlab ，前提要登录
use_swanlab: true
swanlab_project: llamafactory
swanlab_run_name: Qwen2.5-7B-Instruct

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

 Model 部分

  • model_name_or_path: 指定预训练模型的路径或名称。这里路径是 /mnt/workspace/Qwen，表示模型存储在本地目录。

  • quantization_bit: 量化位数，这里设置为 4，表示使用 4 位量化来减少模型的内存占用和计算量。

  • trust_remote_code: 如果模型包含自定义代码（如 Hugging Face 的 transformers 库中的自定义模型），需要设置为 true。这里被注释掉了，表示不启用。

Method 部分

  • stage: 当前任务的阶段，sft 表示监督微调（Supervised Fine-Tuning）。

  • do_train: 是否进行训练，设置为 true 表示启用训练。

  • finetuning_type: 微调类型，这里使用 lora，表示使用 LoRA 技术进行微调。

  • lora_rank: LoRA 的秩（rank），这里设置为 8。秩越低，参数量越少，但可能会影响模型性能。

  • lora_target: 指定 LoRA 应用于哪些层，all 表示应用于所有层。

Dataset 部分

  • dataset: 使用的数据集名称，这里为 law，可能是一个法律相关的数据集。

  • template: 数据模板，这里为 qwen，表示使用 Qwen 模型的默认模板。

  • cutoff_len: 输入序列的最大长度，超过此长度的部分会被截断。这里设置为 2048。

  • max_samples: 最大样本数，这里设置为 1000，表示只使用数据集中的前 1000 个样本。

  • overwrite_cache: 是否覆盖缓存，设置为 true 表示每次运行都会重新生成缓存。

  • preprocessing_num_workers: 数据预处理的并行工作线程数，这里设置为 16。

Output 部分

  • output_dir: 模型和日志的输出目录，这里为 saves/qwen2.5-7b/lora/sft。

  • logging_steps: 每隔多少步记录一次日志，这里设置为 10。

  • save_steps: 每隔多少步保存一次模型，这里设置为 500。

  • plot_loss: 是否绘制损失曲线，设置为 true 表示启用。

  • overwrite_output_dir: 是否覆盖输出目录，设置为 true 表示如果目录已存在则会覆盖。

Train 部分

  • per_device_train_batch_size: 每个设备的训练批次大小，这里设置为 1。

  • gradient_accumulation_steps: 梯度累积步数，这里设置为 8。通过累积梯度来模拟更大的批次大小。

  • learning_rate: 学习率，这里设置为 1.0e-4。

  • num_train_epochs: 训练的总轮数，这里设置为 3.0。

  • lr_scheduler_type: 学习率调度器类型，这里为 cosine，表示使用余弦退火调度器。

  • warmup_ratio: 学习率预热比例，这里设置为 0.1，表示在前 10% 的训练步骤中逐步增加学习率。

  • bf16: 是否使用 bfloat16 精度，设置为 true 表示启用，可以减少内存占用并加速训练。

  • ddp_timeout: 分布式数据并行（DDP）的超时时间，这里设置为 180000000 毫秒。

SwanLab 配置

  • use_swanlab: 是否使用 SwanLab 进行实验跟踪，设置为 true 表示启用。

  • swanlab_project: SwanLab 项目名称，这里为 llamafactory。

  • swanlab_run_name: 当前运行的名称，这里为 Qwen2.5-7B-Instruct。

Eval 部分

  • val_size: 验证集的比例，这里设置为 0.1，表示使用 10% 的数据作为验证集。

  • per_device_eval_batch_size: 每个设备的验证批次大小，这里设置为 1。

  • eval_strategy: 验证策略，这里为 steps，表示每隔一定步数进行验证。

  • eval_steps: 每隔多少步进行一次验证，这里设置为 500。

 数据与文件对应

这几个地方要对应上

训练模型

在 LLaMA-Factory 目录下，输入以下命令启动微调脚本

llamafactory-cli train examples/train_qlora/qwen_lora_sft_bitsandbytes.yaml

最后结果

推理测试

开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
llamafactory0.9.0微调qwen2.5
liguandong
09-24 1111
本文介绍了如何使用LLaMA-Factory微调Qwen1.5模型，包括1.8B和0.5B版本的训练细节。在数据、训练、LORA融合及推理等方面进行了探讨，同时也分享了微调后模型在不同任务上的表现，如聊天对齐和显存占用等。在4卡A800-80G上微调的，数据不变。但是由于llamafactory更新了版本，因此训练命令也有所变化。llama_factory微调QWen1.5_llama factory qwen-CSDN博客。注意训练数据要同步往llamafactory的dataset文件中拉取一份。
AutoDL算力云使用llama_factory微调Qwen2.5-7B实战
qq_49379293的博客
11-15 1079
对于正在研究的大模型数理化增强项目需要使用llama_factory对Qwen2.5进行微调，由于之前进行Yolov8研究AutoDL算力云给我留下了方便快捷、价廉物美的印象，所以这次继续在AutoDL算力云上进行研究。AutoDL算力云是一个非常方便快捷且物美价廉的平台，提供的按小时租赁服务器的服务能够极大地满足我们的训练需要，尤其是对于囊中羞涩的学生党来说。如果你也想要像我一样使用llama_factory进行大模型微调，AutoDL算力云是一个绝佳的选择。
5分钟教你不写一行代码微调构建属于你的大模型（使用llama-factory微调Qwen大模型）
Python单行客的博客
03-19 812
训练时为保证大模型的通用能力会使用多类别数据，例如：数学类别，代码类别数据等等来训练。训练后的大模型是一个“博学家”，具备回答所有类别基础问题的能力，但是在面对更深度的专业领域问题时，大模型的表现往往一般。为了让大模型在某个专业领域具备突出能力，需要使用专业领域的数据集，对大模型进行进一步的参数微调（继续训练），提升它在专业领域方面的表现。关于微调的概念大家可参考我的博文不懂这些概念，你敢说你了解大模型嘛？（一）—大模型“瘦身”指南。
llama-factory微调Qwen2.5-7B-instruct实战，看这一篇就够了！！！（含windows和linux）
a1105425455的博客
03-20 1081
llama-factory微调Qwen2.5-7B-instruct实战，看这一篇就够了！！！（含windows和linux）
llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
jieshenai的博客
11-25 8563
介绍了如何使用该工具进行模型的微调和部署，内容涵盖工具的安装、模型下载、数据集准备、Lora 微调方法、命令行与 YAML 文件配置的训练流程，以及推理测试与多种部署方式。文章以实验流程为线索，结合图文演示，快速上手并高效完成 LLaMA-Factory 的实际应用。
llama factory lora 微调 qwen2.5 7B Instruct模型
weixin_41046245的博客
11-14 3789
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。要使用对进行，流程与之前提到的模型类似。LoRA 微调是一种高效的微调方法，通过低秩适配器层来调整预训练模型的权重，而不是全量训练整个模型。
在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程
qysh123的专栏
01-26 1899
如果显存不够可能会报错，这个我在后一篇博客里再总结。如果显存够，那么可以直接得到微调后的lora模块，我这里用两个3090训练只需要一分多钟。"output": "您好，我是 {{name}}，一个由 {{author}} 发明的人工智能助手。我可以回答各种问题，提供实用的建议和帮助，帮助用户完成各种任务。如果用命令行做的话，前面的步骤可以参考上面这个博客。然后再问大模型“你是谁？”，就可以看到修改之后的效果了。"instruction": "你是谁？
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-25 2万+
使用LLaMA-Factory高效微调qwen2.5-7b-instruct
llama-factory微调qwen2.5-vl
最新发布
qq_44908396的博客
04-08 1314
使用llama-factory完成qwen2.5-vl微调
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2920
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
基于LLaMA-Factory微调Qwen2.5-1.5B-Instruct
m0_75149710的博客
11-24 1972
这是modelscope的官网魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。这个服务需要绑定阿里云，没注册的还要注册阿里云。
LLaMA-Factory+qwen多轮对话微调测评_llama-factory微调qwen
月流霜的专栏
07-13 370
"如果宝宝只有鼻子上有黄点点，而其他地方没有黄疸迹象，并且宝宝的吃奶、睡觉等一切正常，一般来说是没有大问题的。然而，每个孩子的情况都不尽相同，所以在使用生长激素之前，医生会详细评估孩子的生长发育情况并权衡利弊。"如果孩子没有明确的适应证，或者他的身高已经处于正常范围内，通常不建议滥用生长激素以免出现副作用。因此，在决定使用生长激素之前，务必在医生的指导下评估孩子的具体情况，避免不必要的风险。"嗯，宝宝除了鼻子上有黄点点，其他地方没有发现黄疸的迹象。"好的，我明白了，我会带宝宝去儿科医生那里做个详细检查的。
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 1万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
LLama-Factory 快速部署Qwen2.5模型
q742971636的博客
11-04 897
【代码】LLama-Factory 快速部署Qwen2.5模型。
基于LLaMA-Factory框架对Qwen2-7B微调实践
m0_65156252的博客
10-10 769
2，配置模型本地路径：/home/user2/liu/qwen/Qwen2-7B（此处也可以直接使用Hugging Face模型库中的模型）1，编写python脚本d.py使用modelscope的API下载所需模型。1，Google浏览器访问UI界面： http://0.0.0.0:6006。2，执行脚本：python /home/user2/liu/d.py。方式2：github上下载压缩包并解压至服务器（此处选用方式2）一、安装modelscope。3，微调参数配置+预览+训练。（实验室GPU上跑）
在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct
Android23333的博客
12-28 812
24GB的显存基本可以满足7B模型的部署和微调，不过由于CFFF平台都是A100显卡，因此选择一张GPU创建云服务器实例（AI4S_share_queue, A100 * 1, 80G） 首先参照官方文档拉取并安装LLaMA-Factory，CFFF的DSW似乎不支持conda创建虚拟环境（可能一个实例就是一个环境？），因此直接在默认环境下安装依赖
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
yierbubu1212的博客
09-29 1万+
准备工作1.数据集准备（例:民法典.txt）2.服务器准备（阿里云 DSW 白嫖）3.环境配置pip 升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换（只有一个数据集）alpaca格式4.3.2训练集验证集划分（两个数据集）alpaca格式5.开始微调5.1配置文件修改5.2进入微调ui5.3修改参数即可训练5.4训练结果6.测试评估7.模型对话8.模型合并9.模型量化。
用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法
qysh123的专栏
02-08 1798
但是GitHub这里说得比较简略了，具体怎么解决呢，在yaml文件的method那一部分加入：deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型，例如Qwen2.5-32B，那么在两个3090上可能不够用，这里我用A6000×4的服务器。呵呵呵，这个bug还不知道有什么办法能解决，现在对32B的模型可以这样，72B的就无能为力了。哪怕不加上微调模块，模型输出也是胡说八道（输出乱码）。ps：从loss看似乎没训练好，但是总是可以跑了。
llama-factory微调qwen2-vl
02-12
### 使用 LLaMA-Factory 微调 Qwen2-VL 模型 #### 设置环境 为了成功微调 Qwen2-VL 模型，首先需要安装并配置好 LLaMA-Factory 的开发环境。这通常涉及创建虚拟环境、安装依赖库以及下载预训练模型权重文件[^1]。 ```bash git clone https://github.com/your-repo/llama-factory.git cd llama-factory pip install -r requirements.txt ``` #### 配置训练参数 接下来要定义具体的训练超参，比如批次大小(batch size)、学习率(learning rate)，以及其他可能影响收敛性的因素。这些都可以通过修改 `config.yaml` 文件来调整。对于大多数情况，默认值已经能够提供不错的效果；但对于特定应用场景，则建议根据实际情况做适当优化。 #### 数据准备 准备好用于微调的数据集非常重要。确保数据已经被清洗干净，并转换成适合输入给定架构的形式。如果使用的是图像-文本对作为输入形式的话，还需要额外注意图片尺寸标准化等问题。此外，也可以考虑采用一些增强技术提高泛化能力。 #### 启动微调过程 当一切就绪之后就可以启动实际的微调流程了。这里给出一个简单的命令行例子展示如何指定路径和其他必要选项： ```bash CUDA_VISIBLE_DEVICES=0,1 python train.py \ --model_name_or_path /path/to/pretrained/model \ --train_file /path/to/training/data.jsonl \ --output_dir ./results \ --do_train \ --per_device_train_batch_size 8 \ --num_train_epochs 3 \ --save_strategy epoch \ --logging_dir ./logs \ --logging_steps 10 ``` 上述脚本假设读者拥有至少两张 GPU 卡来进行分布式训练以加速整个过程。当然，具体参数可以根据硬件条件和个人需求灵活变动。 #### 多GPU支持与LoRA应用实例 针对多GPU场景下的高效训练，可以借助 PyTorch 提供的相关工具轻松实现。另外值得注意的是，在某些情况下还可以引入低秩自适应 (Low-Rank Adaptation, LoRA)[^2] 技术进一步提升性能表现而不显著增加计算成本。 ```bash CUDA_VISIBLE_DEVICES=1 llamafactory-cli webchat \ --model_name_or_path [your path]/llm/Qwen/Qwen2-VL-7B-Instruct/ \ --adapter_name_or_path [your path]/llm/LLaMA-Factory/saves/qwen2_vl-7b/lora/sft-2/ \ --finetuning_type lora ``` 此段代码展示了如何加载已有的 LoRA 权重并对新任务快速适配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值