LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型

已于 2025-04-30 09:58:04 修改
阅读量1.4k 收藏 28
点赞数 15
分类专栏： AI功能岛 文章标签： LLaMAFactory 矩池云 QWEN 微调
于 2025-04-18 16:38:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48344945/article/details/147334646
版权

LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一，GitHub 星标超过 4.7 万。本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 矩池云 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。

GitHub地址：https://github.com/hiyouga/LLaMA-Factory

一、直接使用 LLaMA-Factory镜像

注：最新版 LLaMa-Factory 已经上线

选择机器：显卡型号：4090 24G显存 （为保证下载速度，请选择亚太 2 区的机器）
租用实例时，请搜索关键词LLaMaFactory选择镜像 LLaMA-Factory20250424(自动启动WebUI) 或者LLaMA-Factory20250424(手动启动WebUI)即可使用
LLaMA-Factory20250424(自动启动WebUI) 开机后，会自动启动Web UI服务
LLaMA-Factory20250424(手动启动WebUI)开机后，需要通过命令手动启动服务：llamafactory-cli webui

实例运行后，可通过“我的实例”页面中的服务链接进行访问。

Screenshot 2025-04-18 at 14.08.19.png

二、亲自部署 LLaMA-Factory

如果想亲自在实例上部署LLaMA-Factory，则步骤如下：

启动实例

显卡型号：4090 24G显存 （为保证下载速度，请选择亚太 2 区的机器）

镜像：Pytorch 2.5.1

配置端口号： 8080（WebUI 服务） 11434（API 服务）

设置环境变量：GRADIO_SERVER_PORT=8080 （定义 Gradio webUI 服务的端口号，注：环境变量只能在 terminal 中查看，notebook 无法查看）

去除国内镜像源

如果您使用的是亚太 2 区的机器，则在部署之前，先去除默认的国内 pip 源：

具体方法在matpool主站右下角点击“客服”寻问AI客服：“如何去除pip源”

Screenshot 2025-04-18 at 13.59.38.png

安装LLaMA-Factory

实例中运行：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

启动服务

实例中运行：

llamafactory-cli webui #注意请在LLaMA-Factory目录下运行这条命令

注：如果实例不在亚太2区，则配置 从modelscope下载模型

USE_MODELSCOPE_HUB=1 llamafactory-cli webui
# USE_MODELSCOPE_HUB 设为 1，表示模型从 ModelScope 魔搭社区下载。避免从 HuggingFace 下载模型导致网速不畅。

服务启动后，可通过“我的实例”页面中的服务链接进行访问。

三、使用LLaMA-Factory 微调模型

准备数据集

LLaMA-Factory 项目内置了丰富的数据集，放在了 data 目录下。您可以跳过本步骤，直接使用内置数据集。您也可以准备自定义数据集，将数据处理为框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。

如果直接使用了人LLama-Factory镜像，则用户可直接在data目录下查看到 images文件夹和train.json 数据集，并且已经在`dataset_info.json `中加入train数据集。

Screenshot 2025-04-18 at 14.18.42.png

如果是按照步骤二自己部署的 LLaMA-Factory，则可自行下载数据集并存放到 data 目录：

wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/llama_factory/Qwen2-VL-History.zip
mv data rawdata && unzip Qwen2-VL-History.zip -d data # 这一步会将原LLaMA-Facroty 目录下的 data 文件转移到rawdata中

数据集中的样本为单轮对话形式，含有 261 条样本，每条样本都由一条系统提示、一条用户指令和一条模型回答组成，微调过程中模型不断学习样本中的回答风格，从而达到学习文旅知识的目的。数据样例如下所示：

Screenshot 2025-04-18 at 14.49.55.png

模型微调

2.0 监控显存使用情况

在微调过程中，需要持续观测显存用量，及时发现显存用超的情况：

watch -n 1 nvidia-smi

Screenshot 2025-04-18 at 15.15.57.png

2.1 配置参数

进入 WebUI 后，可以切换语言到中文（zh）。首先配置模型，本教程选择 Qwen2-VL-2B-Instruct 模型，微调方法修改为 full，针对小模型使用全参微调方法能带来更好的效果。

Screenshot 2025-04-18 at 14.54.55.png

可以点击「预览数据集」按钮查看训练数据；点击「关闭」按钮返回训练界面：

Screenshot 2025-04-18 at 14.57.55.png

设置学习率为 1e-4，训练轮数为 10，更改计算类型为 pure_bf16，梯度累积为 2，有利于模型拟合。在其他参数设置区域修改保存间隔为 1000，节省硬盘空间。

Screenshot 2025-04-18 at 15.01.55.png

2.2 启动微调

将输出目录修改为 train_qwen2vl，训练后的模型权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数，如果想通过代码运行微调，可以复制这段命令，在命令行运行。

点击「开始」启动模型微调。

启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。

Screenshot 2025-04-18 at 15.04.51.png

2.3 模型对话

将检查点路径改为 train_qwen2vl

Screenshot 2025-04-18 at 15.08.19.png

选择「Chat」栏，点击「加载模型」即可在 Web UI 中和微调后的模型进行对话。

Screenshot 2025-04-18 at 15.10.15.png

首先点击测试图片并上传至对话框的图像区域，接着在系统提示词区域填写“你是一个导游，请生动有趣地回答游客提出的问题”。在页面底部的对话框输入想要和模型对话的内容，点击提交即可发送消息。

测试图片 1：

test1.jpeg

测试图片 2：

test2.jpeg
test2-1
test-2

参考

https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory_qwen2vl

【深度学习】LLaMA-Factory 微调sft Qwen2-VL 进行印章识别
q742971636的博客
10-14 1639
了解如何利用LLaMA-Factory进行Qwen2-VL模型的微调是掌握先进机器学习技能的关键一步。本文将带你探索如何设置LLaMA-Factory环境、配置训练参数、处理数据集，最终实现多卡训练和模型微调。即使是初学者，凭借这篇博客，你也能顺利上手并自主完成Qwen2-VL模型的定制化训练。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
12 大模型学习——LLaMA-Factory微调
最新发布
weixin_54388827的博客
04-02 1772
Alpaca 格式由斯坦福大学的研究人员提出，主要用于单轮指令微调任务。针对不同任务，数据集的格式要求不同。应用场景：- 适用于单轮任务，如问答、文本生成、摘要、翻译等。- 结构简洁，任务导向清晰，适合低成本的指令微调。
LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别
anneCoder的博客
02-20 1132
为了提升人脸情感识别的准确性和鲁棒性，本文采用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现对人脸情感的高效识别。通过数据准备、模型配置、训练和评估等步骤，我们成功地构建了一个高效的人脸情感识别模型。在微调之前，需要配置模型参数和数据集路径。注意：上述代码中，加载模型和预测的部分被省略了，实际应用中需要使用合适的代码加载微调后的模型，并进行预测。注意：上述代码中，标签的读取部分被省略了，实际应用中需要从labels.csv等文件中读取标签信息，并添加到labels列表中。
LLaMA-Factory 大模型微调超简单，从零开始玩转大模型微调
2401_84664550的博客
07-30 1846
LLaMA-Factory 大模型微调超简单～～
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2979
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
LLaMA-Factory+qwen多轮对话微调测评_llama-factory微调qwen
月流霜的专栏
07-13 387
"如果宝宝只有鼻子上有黄点点，而其他地方没有黄疸迹象，并且宝宝的吃奶、睡觉等一切正常，一般来说是没有大问题的。然而，每个孩子的情况都不尽相同，所以在使用生长激素之前，医生会详细评估孩子的生长发育情况并权衡利弊。"如果孩子没有明确的适应证，或者他的身高已经处于正常范围内，通常不建议滥用生长激素以免出现副作用。因此，在决定使用生长激素之前，务必在医生的指导下评估孩子的具体情况，避免不必要的风险。"嗯，宝宝除了鼻子上有黄点点，其他地方没有发现黄疸的迹象。"好的，我明白了，我会带宝宝去儿科医生那里做个详细检查的。
LlamaFactory介绍
cangqiongxiaoye的博客
11-15 901
LlamaFactory介绍
llama-factory简介
春和景明
04-02 4237
LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen 和 ChatGLM 等。多种模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。集成方法：（增量）预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。没有记录，都是调用的命令行。
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 2万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory
2301_78285120的博客
12-31 1万+
LLM 微调，也叫做 Fine-tuning，是深度学习领域中常见的一种技术，用于将预先训练好的模型适配到特定的任务或数据集上。这个过程包括几个主要步骤：基础模型选择：选择一个通用文本数据的基础语言模型，使其能够理解基本的语言结构和语义。准备训练数据集：选择一个与目标任务相关的较小数据集。微调：在此数据集上训练模型，但通常使用较低的学习率，以保留基础模型学到的知识，同时学习目标任务的特定知识。评估：在目标任务的验证集上评估模型的性能，需要准备评估数据集。
LlamaFactory 一键式LLM训练、微调工具介绍与实践
h1453586413的博客
08-23 1648
LlamaFactory架构LlamaFactory主要通过Trainer类来实现训练流程，通过设置数据集、模型选型、训练类型、微调超参、模型保存，以及训练状态监控等信息，来开启训练。支持的训练方法支持的训练方法（这里的Pre-Training指的是增量预训练）LlamaFactory和其他框架对比LlamaFactory基于PEFT和TRL进行二次封装，从而可以快速开始SFT和RLHF微调。同时，引入GaLore和Unsloth等方案，能降低训练显存占用。
大模型之路3：趟到了Llama-Factory，大神们请指点
sdust_dx的专栏
04-02 1729
各种AI工具和框架层出不穷，为开发者和研究者提供了前所未有的便利。当然了，也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说，更是难上加难。据说，嗯，据师弟说，说LlamaFactory凭借其独特的功能和优势，在AI领域（他所下载的代码和工具里），引起了广泛的关注（能够调试通过的）。当然，由于硬件环境的缘故，他的3个6000卡不好用，可能是有点老了吧，导致虽然能调试通过，但是运行一个开始就完了。今天，我在自己这边的环境上，也尝试了，感觉还可以。有坑是自然的。
LLaMA-Factory使用心得：小白也能轻松微调大模型
2401_84204413的博客
03-17 1403
1. 准备好硬件（GPU）、数据；通过各方面的资讯选中你想要微调的基座模型2. 准备好代码：输入数据 + 模型 -> 在GPU上反复训练3. 训练结束以后，得到训练过程中的checkpoint + 一些log信息4. 根据log信息选一些比较有希望的checkpoint在自己的测试集上推理，获得相应的结果5. 分析结果，获得下一轮实验（数据、训练方案的迭代）思路而LLaMA-Factory就是一个很好的负责step。
LLamaFactory：当下最容易上手的大模型微调工具
2201_75499313的博客
04-07 4121
近日，国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》，对他们的框架做了系统性的总结。该框架自推出后迅速出圈，现已斩获15.6k的star，逐步成为当下微调的首选工具。
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
kaka0722ww的博客
04-22 2879
本文提出LLAMA FACTORY，一个集成了一套高效训练方法的统一大型语言模型微调框架。它允许用户灵活定制100+ LLM的微调，而无需通过内置的web UI LLAMA板进行编码。实证验证了该框架在语言建模和文本生成任务上的效率和有效性。目前已在Github上开源，地址https://github.com/hiyouga/LLaMA-Factory。
LLama-Factory使用教程
weixin_35977125的博客
06-28 3129
注意，本地数据只能改成LLama-Factory接受的形式，即本地数据只能支持”promtp/input/output“这种对话的格式，不支持传统的文本分类/实体抽取/关系抽取等等schema数据，如果需要，请想办法改成对话形式的数据。和其他可选的改动信息，例如save_steps，per_device_train_batch_size等等。​ 你需要参考其中的一个文件和它的配置，例如：alpaca_gpt4_data_zh.json，训练和验证数据同样改成这种格式，并在。​ 基本流程/原理：将。
Git开源的 LLaMA-Factory 模型预训练、微调、评估和部署！
huang9604的博客
11-29 1680
LLaMA-Factory 是一个强大且高效的工具库，旨在简化和加速 LLaMA（Large Language Model Meta AI）模型的训练、微调和部署过程。它针对大语言模型的多样化需求提供了全面的解决方案，包括模型预训练、微调、评估和部署等。
llamafactory多模态微调
04-01
<think>嗯，用户想了解如何使用LlamaFactory进行多模态模型的微调。首先，我需要回忆一下LlamaFactory的相关资料。根据提供的引用内容，有三个引用：[1]提到了如何启动web界面，[2]是安装步骤，[3]是具体的训练命令。用户的问题集中在多模态微调，所以可能需要结合这些引用中的信息，尤其是引用[2]和[3]。 首先，我应该从安装开始，因为用户可能需要先正确安装环境。引用[2]提到要克隆仓库并安装依赖，包括torch和metrics。这可能涉及到安装多模态相关的库，比如处理图像的模块。需要确认多模态模型是否需要额外的依赖，比如transformers或者vision相关的库。 接下来，准备数据集。多模态模型通常需要结合文本和图像数据，所以用户可能需要将数据组织成特定的格式，比如JSON，包含图像路径和文本标注。可能需要指导用户如何配置数据集，确保路径正确。 然后是配置文件。引用[3]中的例子使用了YAML文件来指定训练参数，比如模型名称、LoRA配置、批处理大小等。用户需要根据自己的需求调整这些参数，特别是多模态部分，可能需要指定视觉模型的路径或参数。 启动训练时，引用[3]用了export命令设置GPU，然后调用train命令指定配置文件。需要提醒用户正确设置CUDA_VISIBLE_DEVICES以及配置文件路径。此外，可能需要使用DeepSpeed来优化资源，尤其是在多GPU环境下。 验证阶段，可能需要加载微调后的模型进行测试，确保图像和文本都能正确处理。引用[1]提到的web界面可能可以用来可视化训练过程，或者进行模型测试，但用户的问题主要是微调，所以这部分可能次要。 用户可能遇到的问题包括环境配置错误、数据集格式不正确、路径错误或GPU内存不足。需要建议他们检查依赖安装，确认数据集路径，调整批处理大小，或者使用更低精度的训练方式。 最后，生成相关问题时要考虑用户可能的后续疑问，比如如何评估多模态模型，处理多模态数据的具体方法，混合训练的技巧，以及常见错误的解决方法。</think>以下为基于LlamaFactory进行多模态大语言模型微调的步骤详解： ### 一、环境准备 1. **克隆仓库与依赖安装** ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics,vl] # 注意添加vl扩展支持多模态[^2] ``` 需额外安装`torchvision`等视觉处理库 2. **硬件配置** 建议使用至少4张24GB显存的GPU（如3090/4090/A5000） ### 二、数据准备 1. 格式要求： ```json { "images": ["path/to/image1.jpg", "path/to/image2.png"], "conversations": [ {"role": "Human", "content": "描述这张图片"}, {"role": "Assistant", "content": "这是..."} ] } ``` 2. 配置文件设置： ```yaml # qwen2vl_lora_sft.yaml model_name_or_path: Qwen/Qwen-VL-Chat # 多模态基座模型 lora_target: c_attn # 注意力层参数适配 per_device_train_batch_size: 2 # 根据显存调整 gradient_accumulation_steps: 8 load_in_4bit: true # 4bit量化节省显存[^3] ``` ### 三、启动训练 ```bash export CUDA_VISIBLE_DEVICES=0,1,2,3 # 指定GPU设备 llamafactory-cli train /path/to/qwen2vl_lora_sft.yaml --deepspeed deepspeed_zero3 ``` 建议使用DeepSpeed优化显存利用率 ### 四、效果验证 ```python from llmtuner import ChatModel model = ChatModel() model.load_model( model_name="Qwen-VL-Chat", adapter_name="/path/to/lora_checkpoint" ) response = model.chat(query="图片里有什么？", image="test.jpg") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值