Qwen2-VL多模态大模型微调实战：附完整代码，轻松掌握AI新技术！

Qwen2-VL是阿里通义实验室推出的多模态大模型。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在COCO2014图像描述 上进行Lora微调训练，同时使用 SwanLab 监控训练过程与评估模型效果。

Lora 是一种高效微调方法

代码、数据、模型、训练过程链接见文末～

1

环境配置

环境配置分为三步：

1. 确保你的电脑上至少有一张英伟达显卡，并已安装好了CUDA环境。

2. 安装Python（版本>=3.8）以及能够调用CUDA加速的PyTorch。

3. 安装Qwen2-VL微调相关的第三方库，可以使用以下命令：

python -m pip install --upgrade pip# 更换 pypi 源加速库的安装pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip install modelscope==1.18.0pip install transformers==4.46.2pip install sentencepiece==0.2.0pip install accelerate==1.1.1pip install datasets==2.18.0pip install peft==0.13.2pip install swanlab==0.3.25pip install qwen-vl-utils==0.0.8

2

准备数据集

本节使用的是 coco_2014_caption 数据集（中的500张图），该数据集主要用于多模态（Image-to-Text）任务。

数据集介绍：COCO 2014 Caption数据集是Microsoft Common Objects in Context (COCO)数据集的一部分，主要用于图像描述任务。该数据集包含了大约40万张图像，每张图像都有至少1个人工生成的英文描述语句。这些描述语句旨在帮助计算机理解图像内容，并为图像自动生成描述提供训练数据。

在本节的任务中，我们主要使用其中的前500张图像，并对它进行处理和格式调整，目标是组合成如下格式的json文件：

[{    "id": "identity_1",    "conversations": [      {        "from": "user",        "value": "COCO Yes: <|vision_start|>图像文件路径<|vision_end|>"      },      {        "from": "assistant",        "value": "A snow skier assessing the mountain before starting to sky"      }    ]},...]

其中，"from"是角色（user代表人类，assistant代表模型），"value"是聊天的内容，其中<|vision_start|>和<|vision_end|>是Qwen2-VL模型识别图像的标记，中间可以放图像的文件路径，也可以是URL。

数据集下载与处理方式

1. 我们需要做四件事情：

   • 通过Modelscope下载coco_2014_caption数据集

   • 加载数据集，将图像保存到本地

   • 将图像路径和描述文本转换为一个csv文件

   • 将csv文件转换为json文件

2. 使用下面的代码完成从数据下载到生成csv的过程：

data2csv.py：​​​​​​​

# 导入所需的库from modelscope.msdatasets import MsDatasetimport osimport pandas as pd
MAX_DATA_NUMBER = 500
# 检查目录是否已存在if not os.path.exists('coco_2014_caption'):    # 从modelscope下载COCO 2014图像描述数据集    ds =  MsDataset.load('modelscope/coco_2014_caption', subset_name='coco_2014_caption', split='train')    print(len(ds))    # 设置处理的图片数量上限    total = min(MAX_DATA_NUMBER, len(ds))
    # 创建保存图片的目录    os.makedirs('coco_2014_caption', exist_ok=True)
    # 初始化存储图片路径和描述的列表    image_paths = []    captions = []
    for i in range(total):        # 获取每个样本的信息        item = ds[i]        image_id = item['image_id']        caption = item['caption']        image = item['image']
        # 保存图片并记录路径        image_path = os.path.abspath(f'coco_2014_caption/{image_id}.jpg')        image.save(image_path)
        # 将路径和描述添加到列表中        image_paths.append(image_path)        captions.append(caption)
        # 每处理50张图片打印一次进度        if (i + 1) % 50 == 0:            print(f'Processing {i+1}/{total} images ({(i+1)/total*100:.1f}%)')
    # 将图片路径和描述保存为CSV文件    df = pd.DataFrame({        'image_path': image_paths,        'caption': captions    })
    # 将数据保存为CSV文件    df.to_csv('./coco-2024-dataset.csv', index=False)
    print(f'数据处理完成，共处理了{total}张图片')
else:    print('coco_2014_caption目录已存在,跳过数据处理步骤')

3. 在同一目录下，用以下代码，将csv文件转换为json文件：

csv2json.py：​​​​​​​

import pandas as pdimport json
# 载入CSV文件df = pd.read_csv('./coco-2024-dataset.csv')conversations = []
# 添加对话数据for i in range(len(df)):    conversations.append({        "id": f"identity_{i+1}",        "conversations": [            {                "from": "user",                "value": f"COCO Yes: <|vision_start|>{df.iloc[i]['image_path']}<|vision_end|>"            },            {                "from": "assistant",                 "value": df.iloc[i]['caption']            }        ]    })
# 保存为Jsonwith open('data_vl.json', 'w', encoding='utf-8') as f:    json.dump(conversations, f, ensure_ascii=False, indent=2)

此时目录下会多出两个文件：

• coco-2024-dataset.csv

• data_vl.json

至此，我们完成了数据集的准备。

3

模型下载与加载

这里我们使用modelscope下载Qwen2-VL-2B-Instruct模型，然后把它加载到Transformers中进行训练：​​​​​​​

from modelscope import snapshot_download, AutoTokenizerfrom transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq, Qwen2VLForConditionalGeneration, AutoProcessorimport torch
# 在modelscope上下载Qwen2-VL模型到本地目录下model_dir = snapshot_download("Qwen/Qwen2-VL-2B-Instruct", cache_dir="./", revision="master")
# 使用Transformers加载模型权重tokenizer = AutoTokenizer.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct/", use_fast=False, trust_remote_code=True)# 特别的，Qwen2-VL-2B-Instruct模型需要使用Qwen2VLForConditionalGeneration来加载model = Qwen2VLForConditionalGeneration.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct/", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True,)model.enable_input_require_grads()  # 开启梯度检查点时，要执行该方法

模型大小为 4.5GB，下载模型大概需要 5 分钟。

4

集成SwanLab

SwanLab 是一个开源的模型训练记录工具。SwanLab面向AI研究者，提供了训练可视化、自动日志记录、超参数记录、实验对比、多人协同等功能。在SwanLab上，研究者能基于直观的可视化图表发现训练问题，对比多个实验找到研究灵感，并通过在线链接的分享与基于组织的多人协同训练，打破团队沟通的壁垒。

SwanLab与Transformers已经做好了集成，用法是在Trainer的callbacks参数中添加SwanLabCallback实例，就可以自动记录超参数和训练指标，简化代码如下：​​​​​​​

from swanlab.integration.transformers import SwanLabCallbackfrom transformers import Trainer
swanlab_callback = SwanLabCallback()
trainer = Trainer(    ...    callbacks=[swanlab_callback],)

首次使用SwanLab，需要先在官网注册一个账号，然后在用户设置页面复制你的API Key，然后在训练开始提示登录时粘贴即可，后续无需再次登录：

更多用法可参考快速开始、Transformers集成。

​​​​​​​

5

开始微调

查看可视化训练过程：Qwen2-VL-finetune

本节代码做了以下几件事：

1. 下载并加载Qwen2-VL-2B-Instruct模型

2. 加载数据集，取前496条数据参与训练，4条数据进行主观评测

3. 配置Lora，参数为r=64, lora_alpha=16, lora_dropout=0.05

4. 使用SwanLab记录训练过程，包括超参数、指标和最终的模型输出结果

5. 训练2个epoch

开始执行代码时的目录结构应该是：​​​​​​​

|———— train.py|———— coco_2014_caption|———— coco-2024-dataset.csv|———— data_vl.json|———— data2csv.py|———— csv2json.py

完整代码如下

train.py：​​​​​​​

import torchfrom datasets import Datasetfrom modelscope import snapshot_download, AutoTokenizerfrom swanlab.integration.transformers import SwanLabCallbackfrom qwen_vl_utils import process_vision_infofrom peft import LoraConfig, TaskType, get_peft_model, PeftModelfrom transformers import (    TrainingArguments,    Trainer,    DataCollatorForSeq2Seq,    Qwen2VLForConditionalGeneration,    AutoProcessor,)import swanlabimport json

def process_func(example):    """    将数据集进行预处理    """    MAX_LENGTH = 8192    input_ids, attention_mask, labels = [], [], []    conversation = example["conversations"]    input_content = conversation[0]["value"]    output_content = conversation[1]["value"]    file_path = input_content.split("<|vision_start|>")[1].split("<|vision_end|>")[0]  # 获取图像路径    messages = [        {            "role": "user",            "content": [                {                    "type": "image",                    "image": f"{file_path}",                    "resized_height": 280,                    "resized_width": 280,                },                {"type": "text", "text": "COCO Yes:"},            ],        }    ]    text = processor.apply_chat_template(        messages, tokenize=False, add_generation_prompt=True    )  # 获取文本    image_inputs, video_inputs = process_vision_info(messages)  # 获取数据数据（预处理过）    inputs = processor(        text=[text],        images=image_inputs,        videos=video_inputs,        padding=True,        return_tensors="pt",    )    inputs = {key: value.tolist() for key, value in inputs.items()} #tensor -> list,为了方便拼接    instruction = inputs
    response = tokenizer(f"{output_content}", add_special_tokens=False)

    input_ids = (            instruction["input_ids"][0] + response["input_ids"] + [tokenizer.pad_token_id]    )
    attention_mask = instruction["attention_mask"][0] + response["attention_mask"] + [1]    labels = (            [-100] * len(instruction["input_ids"][0])            + response["input_ids"]            + [tokenizer.pad_token_id]    )    if len(input_ids) > MAX_LENGTH:  # 做一个截断        input_ids = input_ids[:MAX_LENGTH]        attention_mask = attention_mask[:MAX_LENGTH]        labels = labels[:MAX_LENGTH]
    input_ids = torch.tensor(input_ids)    attention_mask = torch.tensor(attention_mask)    labels = torch.tensor(labels)    inputs['pixel_values'] = torch.tensor(inputs['pixel_values'])    inputs['image_grid_thw'] = torch.tensor(inputs['image_grid_thw']).squeeze(0)  #由（1,h,w)变换为（h,w）    return {"input_ids": input_ids, "attention_mask": attention_mask, "labels": labels,            "pixel_values": inputs['pixel_values'], "image_grid_thw": inputs['image_grid_thw']}

def predict(messages, model):    # 准备推理    text = processor.apply_chat_template(        messages, tokenize=False, add_generation_prompt=True    )    image_inputs, video_inputs = process_vision_info(messages)    inputs = processor(        text=[text],        images=image_inputs,        videos=video_inputs,        padding=True,        return_tensors="pt",    )    inputs = inputs.to("cuda")
    # 生成输出    generated_ids = model.generate(**inputs, max_new_tokens=128)    generated_ids_trimmed = [        out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)    ]    output_text = processor.batch_decode(        generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False    )
    return output_text[0]

# 在modelscope上下载Qwen2-VL模型到本地目录下model_dir = snapshot_download("Qwen/Qwen2-VL-2B-Instruct", cache_dir="./", revision="master")
# 使用Transformers加载模型权重tokenizer = AutoTokenizer.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct/", use_fast=False, trust_remote_code=True)processor = AutoProcessor.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct")
model = Qwen2VLForConditionalGeneration.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct/", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True,)model.enable_input_require_grads()  # 开启梯度检查点时，要执行该方法
# 处理数据集：读取json文件# 拆分成训练集和测试集，保存为data_vl_train.json和data_vl_test.jsontrain_json_path = "data_vl.json"with open(train_json_path, 'r') as f:    data = json.load(f)    train_data = data[:-4]    test_data = data[-4:]
with open("data_vl_train.json", "w") as f:    json.dump(train_data, f)
with open("data_vl_test.json", "w") as f:    json.dump(test_data, f)
train_ds = Dataset.from_json("data_vl_train.json")train_dataset = train_ds.map(process_func)
# 配置LoRAconfig = LoraConfig(    task_type=TaskType.CAUSAL_LM,    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],    inference_mode=False,  # 训练模式    r=64,  # Lora 秩    lora_alpha=16,  # Lora alaph，具体作用参见 Lora 原理    lora_dropout=0.05,  # Dropout 比例    bias="none",)
# 获取LoRA模型peft_model = get_peft_model(model, config)
# 配置训练参数args = TrainingArguments(    output_dir="./output/Qwen2-VL-2B",    per_device_train_batch_size=4,    gradient_accumulation_steps=4,    logging_steps=10,    logging_first_step=5,    num_train_epochs=2,    save_steps=100,    learning_rate=1e-4,    save_on_each_node=True,    gradient_checkpointing=True,    report_to="none",)
# 设置SwanLab回调swanlab_callback = SwanLabCallback(    project="Qwen2-VL-finetune",    experiment_name="qwen2-vl-coco2014",    config={        "model": "https://modelscope.cn/models/Qwen/Qwen2-VL-2B-Instruct",        "dataset": "https://modelscope.cn/datasets/modelscope/coco_2014_caption/quickstart",        "github": "https://github.com/datawhalechina/self-llm",        "prompt": "COCO Yes: ",        "train_data_number": len(train_data),        "lora_rank": 64,        "lora_alpha": 16,        "lora_dropout": 0.1,    },)
# 配置Trainertrainer = Trainer(    model=peft_model,    args=args,    train_dataset=train_dataset,    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),    callbacks=[swanlab_callback],)
# 开启模型训练trainer.train()
# ====================测试模式===================# 配置测试参数val_config = LoraConfig(    task_type=TaskType.CAUSAL_LM,    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],    inference_mode=True,  # 训练模式    r=64,  # Lora 秩    lora_alpha=16,  # Lora alaph，具体作用参见 Lora 原理    lora_dropout=0.05,  # Dropout 比例    bias="none",)
# 获取测试模型val_peft_model = PeftModel.from_pretrained(model, model_id="./output/Qwen2-VL-2B/checkpoint-62", config=val_config)
# 读取测试数据with open("data_vl_test.json", "r") as f:    test_dataset = json.load(f)
test_image_list = []for item in test_dataset:    input_image_prompt = item["conversations"][0]["value"]    # 去掉前后的<|vision_start|>和<|vision_end|>    origin_image_path = input_image_prompt.split("<|vision_start|>")[1].split("<|vision_end|>")[0]
    messages = [{        "role": "user",         "content": [            {            "type": "image",             "image": origin_image_path            },            {            "type": "text",            "text": "COCO Yes:"            }        ]}]
    response = predict(messages, val_peft_model)    messages.append({"role": "assistant", "content": f"{response}"})    print(messages[-1])
    test_image_list.append(swanlab.Image(origin_image_path, caption=response))
swanlab.log({"Prediction": test_image_list})
# 在Jupyter Notebook中运行时要停止SwanLab记录，需要调用swanlab.finish()swanlab.finish()

看到下面的进度条即代表训练开始：

6

训练结果演示

详细训练过程请看这里：qwen2-vl-coco2014

从SwanLab图表中我们可以看到，lr的下降策略是线性下降，loss随epoch呈现下降趋势，而grad_norm则在上升。这种形态往往反映了模型有过拟合的风险，训练不要超过2个epoch。

在Prediction图表中记录着模型最终的输出结果，可以看到模型在回答的风格上是用的COCO数据集的简短英文风格进行的描述：

而同样的图像，没有被微调的模型输出结果如下：​​​​​​​

1-没有微调：The image depicts a cozy living room with a rocking chair in the center, a bookshelf filled with books, and a table with a vase and a few other items. The walls are decorated with wallpaper, and there are curtains on the windows. The room appears to be well-lit, with sunlight streaming in from the windows.1-微调后：A living room with a rocking chair, a bookshelf, and a table with a vase and a bowl.
2-没有微调：It looks like a family gathering or a party in a living room. There are several people sitting around a dining table, eating pizza. The room has a cozy and warm atmosphere.2-微调后：A group of people sitting around a dining table eating pizza.

可以明显看到微调后风格的变化。

7

推理LoRA微调后的模型

加载lora微调后的模型，并进行推理：​​​​​​​

from transformers import Qwen2VLForConditionalGeneration, AutoProcessorfrom qwen_vl_utils import process_vision_infofrom peft import PeftModel, LoraConfig, TaskType
config = LoraConfig(    task_type=TaskType.CAUSAL_LM,    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],    inference_mode=True,    r=64,  # Lora 秩    lora_alpha=16,  # Lora alaph，具体作用参见 Lora 原理    lora_dropout=0.05,  # Dropout 比例    bias="none",)
# default: Load the model on the available device(s)model = Qwen2VLForConditionalGeneration.from_pretrained(    "./Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")model = PeftModel.from_pretrained(model, model_id="./output/Qwen2-VL-2B/checkpoint-62", config=config)processor = AutoProcessor.from_pretrained("./Qwen/Qwen2-VL-2B-Instruct")
messages = [    {        "role": "user",        "content": [            {                "type": "image",                "image": "测试图像路径",            },            {"type": "text", "text": "COCO Yes:"},        ],    }]
# Preparation for inferencetext = processor.apply_chat_template(    messages, tokenize=False, add_generation_prompt=True)image_inputs, video_inputs = process_vision_info(messages)inputs = processor(    text=[text],    images=image_inputs,    videos=video_inputs,    padding=True,    return_tensors="pt",)inputs = inputs.to("cuda")
# Inference: Generation of the outputgenerated_ids = model.generate(**inputs, max_new_tokens=128)generated_ids_trimmed = [    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]output_text = processor.batch_decode(    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)print(output_text)

8

补充

详细硬件配置和参数说明

使用4张A100 40GB显卡，batch size为4，gradient accumulation steps为4，训练2个epoch的用时为1分钟57秒。

注意

• 在微调脚本中，val_peft_model加载的是一共固定的checkpoint文件，如果你添加了数据或超参数，请根据实际情况修改checkpoint文件路径。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】