基于Qwen2.5-VL-7B模型微调交通大模型效果展示

已于 2025-03-05 10:34:11 修改
阅读量895 收藏 10
点赞数 6
文章标签： python 多模态大模型
于 2025-03-05 10:33:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/small_wu/article/details/146034895
版权

一、背景

Qwen2.5-VL是Qwen家族最新的旗舰款视觉模型。这个版本主要有以下两个特点：

  • 理解长视频和捕捉事件：Qwen2.5-VL 能够理解超过 1 小时的视频，并且这次它具备了通过精准定位相关视频片段来捕捉事件的新能力。
  • 视觉定位：Qwen2.5-VL 可以通过生成 bounding boxes 或者 points 来准确定位图像中的物体，并能够为坐标和属性提供稳定的 JSON 输出。

这次发布了72B，7B和3B版本。72B是旗舰款的模型，7B和3B更加倾向于小模型本地部署的应用，其中7B可以达到gpt4o-mini的效果，3B在同参数级别的模型中比较有优势。本次给大家带来的是7B模型微调交通车辆车牌属性相关微调记录。

二、微调数据

1、数据生成

1.1、首先我们对图片中的车辆属性和车牌属性进行定性：

  • 车辆属性我们主要分为车辆品牌（不包含年款）、车辆类型、车辆颜色、车辆朝向。
  • 车牌属性我们分为，车牌所属国家、车牌所属省份、车牌号码、车牌颜色、车牌层数、车牌用途。
    通过前期数据积累制作对应相关数据标签，生成如下数据：
    在这里插入图片描述

1.2 基于大模型+提示词对数据进行伪标签定性描述。

效果如下：

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-轻微型货车-蓝色_车牌属性0:中国-云南省-云K CM158-蓝色-单层-燃油车_00032804_car10062_00336842.jpg', 
'shape': (612, 602, 3), 
'describe': '这辆蓝色的东风轻微型货车正迎面而来，车身线条流畅，显得十分稳重。阳光洒在车身上，反射出耀眼的光芒，使得蓝色更加鲜艳夺目。东风品牌的标志清晰可见，彰显着其卓越的品质与实力。\n\n车牌上显示的是中国云南省的车牌，号码为云K CM158。车牌的颜色为蓝色，与车身相得益彰，给人一种清新自然的感觉。车牌的层数为单层，用途为燃油车车牌，表明这是一辆传统的内燃机驱动的车辆。车牌上的文字和数字在阳光下显得格外醒目，仿佛在诉说着它的故事。\n\n总的来说，这辆车不仅外观时尚，而且充满了实用性和可靠性。无论是日常通勤还是长途旅行，它都能轻松应对各种路况。'}

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-重型货车-棕色_车牌属性0:中国-云南省-云F 92639-黄色-单层-货车_00005229_car9450_00324509.jpg', 
'shape': (1146, 1010, 3), 
'describe': '这辆重型货车的品牌是东风，从其独特的前脸设计和标志性的东风车标可以看出。虽然照片拍摄于阴雨天气，但可以推测出这辆车在晴天时应该是棕色的。它正对着镜头，给人一种威严而坚固的感觉。\n\n车牌显示该车属于中国的云南省，车牌号码为云F 92639，颜色为黄色。车牌的单层设计清晰可见，表明它专为货车使用而设。尽管照片中光线较为昏暗，但车牌的颜色依然鲜明，黄色在雨天的反光下显得格外醒目。\n\n总的来说，这是一辆典型的东风重型货车，无论是从品牌、颜色还是车牌来看，都与提示信息相符。'}

1.3 基于大模型+描述性提问对数据进行伪标签定性描述。

效果如下：

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-轻微型货车-蓝色_车牌属性0:中国-云南省-云K CM158-蓝色-单层-燃油车_00032804_car10062_00336842.jpg', 
'shape': (612, 602, 3), 
'describe': '这是一辆蓝色的东风牌货车，车牌号为“EK CM158”。车辆顶部装有太阳能板，车窗上可以看到车内的一些物品和驾驶者。背景中可以看到一些树木和建筑物。', 
'question': '请把图片中的信息转化为文字描述。'}

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-重型货车-棕色_车牌属性0:中国-云南省-云F 92639-黄色-单层-货车_00005229_car9450_00324509.jpg', 
'shape': (1146, 1010, 3), 
'describe': '图片显示一辆大型货车在雨天行驶，车头前方有一个车牌号为“浙F-92639”的黄色车牌。车顶上装有设备，车窗内可以看到驾驶员戴着帽子。', 
'question': '用简洁的语言描述图片的主要内容。'}

1.4 通过大模型语义整合能力，对提示词信息和描述语言信息进行整合

效果如下：

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-轻微型货车-蓝色_车牌属性0:中国-云南省-云K CM158-蓝色-单层-燃油车_00032804_car10062_00336842.jpg', 
'shape': (612, 602, 3), 
'describe': ['这辆蓝色的东风轻微型货车正迎面而来，车身线条流畅，显得格外稳重。东风品牌的标志清晰可见，彰显着其卓越的品质与实力。车身上的蓝色在阳光下更加鲜艳夺目，与车牌的颜色相得益彰，给人一种清新自然的感觉。车牌上显示的是中国云南省的车牌，号码为云K CM158，单层设计，用途为燃油车车牌，表明这是一辆传统的内燃机驱动的车辆。车牌上的文字和数字格外醒目，仿佛在诉说着它的故事。\n\n车辆顶部装有太阳能板，车窗上可以看到车内的一些物品和驾驶者。背景中可以看到一些树木和建筑物，与这辆充满实用性和可靠性的货车相映成趣。无论是日常通勤还是长途旅行，它都能轻松应对各种路况，成为一道亮丽的风景线。'],
'question': '请把图片中的信息转化为文字描述。'}

{'imgpath': '/home/jovyan/pvc-jiaotong/wqg_data/LLM_data/LLM_Vehicle_ATT/磨憨整理_20241210/已整理/车辆属性:东风-车头-重型货车-棕色_车牌属性0:中国-云南省-云F 92639-黄色-单层-货车_00005229_car9450_00324509.jpg', 
'shape': (1146, 1010, 3), 
'describe': ['这辆威严而坚固的重型货车，品牌为东风，其独特的前脸设计和标志性的东风车标清晰可见。尽管雨幕笼罩，仍能想象它在晴朗日子里的棕色身影。车头正对着镜头，散发出一股不可小觑的力量感。车牌显示该车隶属于中国的云南省，车牌号码为云F 92639，颜色为黄色，单层设计清晰可见，专为货车使用而设。尽管雨水模糊了视线，车牌的黄色依然在雨中格外醒目。\n\n图片中，这辆大型货车在雨天行驶，车顶上装有设备，车窗内驾驶员戴着帽子，与前文描述的东风重型货车相呼应。这辆东风重型货车，无论是从品牌、颜色还是车牌来看，都显得格外引人注目。'],
'question': '用简洁的语言描述图片的主要内容。'}

2 模型微调

微调是基于mc-swift框架来进行微调。微调相关参数：

# 22GB
# 1280*28*28  限制了最大图像像素数量
CUDA_VISIBLE_DEVICES=0,1,2,3 \
MAX_PIXELS=1003520 \
swift sft \
    --model Qwen/Qwen2.5-VL-7B-Instruct \
    --train_type lora \
    --dataset datapath \
    --freeze_vit false \
    --torch_dtype bfloat16 \
    --num_train_epochs 2 \
    --per_device_train_batch_size 3 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 300 \
    --save_total_limit 5 \
    --logging_steps 5 \
    --max_length 2048 \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name swift-robot \
    --max_pixels 1003520 \
    --output_dir output

三、效果展示

  • 中东车牌

在这里插入图片描述

输出结果：
{'车辆属性': {
	'车辆品牌': '丰田', 
	'车辆类型': '小轿车', 
	'车辆颜色': '白色', 
	'车辆朝向': '正面'}, 
'车牌属性': {
	'车牌国家': '阿布扎比', 
	'车牌省份': '未知', 
	'车牌号码': '14 11586', 
	'车牌颜色': '白色', 
	'车牌层数': '单层车牌', 
	'车牌用途': '私家车车牌'}}
  • 小轿车在这里插入图片描述
输出结果：
{'车辆属性': {
	'车辆品牌': '宝骏', 
	'车辆类型': '小轿车', 
	'车辆颜色': '红色', 
	'车辆朝向': '正面'}, 
'车牌属性': {
	'车牌国家': '中国', 
	'车牌省份': '云南省', 
	'车牌号码': '云NEW902', 
	'车牌颜色': '蓝色', 
	'车牌层数': '单层车牌', 
	'车牌用途': '燃油车车牌'}}
  • 模糊
    在这里插入图片描述
输出结果：
{'车辆属性': {
	'车辆品牌': '奥迪', 
	'车辆类型': '小轿车', 
	'车辆颜色': '黑色', 
	'车辆朝向': '背面'}, 
'车牌属性': {
	'车牌国家': '中国', 
	'车牌省份': '山东省', 
	'车牌号码': '鲁GCY987', 
	'车牌颜色': '蓝色', 
	'车牌层数': '单层车牌', 
	'车牌用途': '燃油车车牌'}}

注意 ：这里结果识别有误，车牌中字符应该是黑，但是识别成鲁，省份会自动识别成山东省。

  • 货车
    在这里插入图片描述
输出结果：
{'车辆属性': {
	'车辆品牌': '乘龙', 
	'车辆类型': '挂车', 
	'车辆颜色': '红色', 
	'车辆朝向': '正面'}, 
'车牌属性': {
	'车牌国家': '中国', 
	'车牌省份': '云南省', 
	'车牌号码': '云N51323', 
	'车牌颜色': '黄色', 
	'车牌层数': '单层车牌', 
	'车牌用途': '货车车牌'}}
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-15 2万+
将Qwen2.5模型与vLLM框架进行有效整合，通过离线推理为实际项目带来更大的价值。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-07 2万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
基于Qwen2.5-7B-Instruct的大模型微调实战指南
11-18
内容概要：本文档详细介绍了如何使用Qwen2.5-7B-Instruct大模型进行微调的具体步骤。主要内容包括环境搭建、预训练模型下载、微调准备工作、具体微调流程以及如何启用外部记录面板等。通过本文档，读者可以逐步掌握如何在AutoDL平台上独立部署并微调大模型。 适合人群：具备一定的机器学习基础和技术能力的研究人员和开发者。 使用场景及目标：适用于希望深入了解和应用大模型微调技术的实际项目，如自然语言处理任务优化、模型性能提升等。 阅读建议：建议读者按部就班地跟随文档步骤进行实际操作，并结合具体的项目需求调整相关参数和配置。此外，建议配合 wandb 记录实验结果，以便更好地分析和改进模型。
DINOv2+Qwen2.5-VL-2B+LoRA实现image caption的微调
hzm8341的博客
01-06 870
本文的打算是一步步的实现Diffusion VLA的论文思路，之前用ResNet50提取图像特征，现在换成了DINOv2。
Swift实战（微调多模态模型Qwen2.5 vl 7B）
Guo_Python的博客
03-18 1068
本教程利用Swift框架微调Qwen2.5 vl 7B模型，是用的数据集是OCR识别数据集，一共10万张图片。
Qwen2.5-7B大模型微调记录
黄钢的博客
11-26 4727
研究需要，需要搞一个大模型出来，没有太多的时间自己训练，准备用现成的开源大模型，然后结合研究方向进行微调前前后后折腾大半个月，总算做完了第一个微调的大模型，模型基于阿里的千问2.5大模型，然后微调的训练集是一些法律相关的问题记录一下流程。
qwen2.5-vl：阿里开源超强多模态大模型（包含使用方法、微调方法介绍）
热门推荐
sherlockMa的博客
01-28 2万+
Qwen2.5-VL是由阿里巴巴通义千问团队推出的一款开源视觉语言模型，它在视觉理解、多模态交互以及自动化任务执行等方面展现出卓越的能力。该模型不仅能够识别常见的物体，如花卉、鸟类、鱼类、昆虫等，还能深入分析图像中的文本、图表、图标、图形和布局，其通用图像识别能力得到了显著增强，大幅扩展了可识别的图像类别范围。
qwen2.5-vl-7B视觉大模型 私有化部署webUI
weixin_42684822的博客
02-08 4925
在云服务上，私有化部署qwen2.5-vl视觉大模型
【全网首发】使用 LoRA 微调 Qwen2.5-VL-7B-Instruct：完整流程解析
HovChen的博客
01-28 1万+
本篇文章介绍了如何使用 LoRA（Low-Rank Adaptation） 技术对 Qwen2.5-VL-7B-Instruct 进行轻量级微调，从而高效适配特定任务。我们详细解析了 模型加载、数据预处理、LoRA 适配、训练配置及推理评估 的完整流程，并提供了代码示例。通过 LoRA，我们可以 在较低计算资源下快速微调大规模视觉-语言模型（VLMs），使其更适用于特定领域任务。对于希望优化 Qwen2.5-VL 并实现高效微调的开发者，本文提供了一套实用的解决方案。🚀
手把手教你如何全参微调QWEN2.5
SuperTi_cloud的博客
12-24 1019
本次实战采用QWEN2.5的0.5b的小体量模型在弱智吧数据集上进行微调。通过本次实战，希望大家能够掌握以下技能：1，如何快速获取廉价算力2，如何在QWEN模型上进行全参微调。
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
xxue345678的博客
09-19 2万+
进行微调。在这里，我们将展示可直接运行的demo。
手把手带你微调阿里qwen2.5大模型
python12222_的博客
10-23 1万+
大模型微调，也称为 Fine-tuning ，是指在已经预训练好的大型语言模型 基础上（一般称为“基座模型”），使用特定的数据集进行进一步的训练，让模型适应特定任务或领域。经过预训练的基座模型其实已经可以完成很多任务，比如回答问题、总结数据、编写代码等。但是，并没有一个模型可以解决所有的问题，尤其是。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-06 1万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-Tools助力（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-17 2万+
使用docker集成vllm实现模型推理加速，并使用Tools（工具）增强模型的能力和准确性
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 2万+
Qwen2.5-7B-Instruct集成vllm，流式输出
【多模态大模型实战】使用LoRA微调Qwen2.5-VL
最新发布
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
04-12 1487
本文将直接使用 Qwen2.5-VL-7B-Instruct 模型在 coco_2014_caption 数据集上进行LoRA微调训练，旨在熟悉Qwen2.5-VL数据处理和训练流程。 GitHub地址：https://github.com/Donvink/Qwen2.5-VL-Finetune
重磅首发！本地部署+真实测评阿里开源视觉大模型Qwen2.5-VL-7B-Instruct和Qwen2.5-VL-72B！轻松识别提取发票！全方位测评见证AI视觉理解能力的质的飞跃，图像识别不再是难题
m0_71165399的博客
01-30 2858
2025年1月，阿里巴巴通义千问团队发布了全新的视觉语言模型——Qwen2.5-VL-7B-Instruct，作为Qwen2.5-VL系列的一员，标志着视觉语言理解领域的一次重要突破。这一中型参数模型，凭借其卓越的性能和多样化的功能，迅速吸引了业界的广泛关注。
本地部署Qwen2.5-VL-7B-Instruct多模态视觉大模型（Windows篇）
仗剑行于江湖，执笔记江湖事。
02-23 5549
Qwen2.5-VL是阿里云推出的开源多模态大模型，支持等功能。较上一个版本Qwen2-VL有质的飞越，Qwen2.5-VL通过动态分辨率适配和窗口注意力机制，显著降低显存占用并提升推理速度，72B模型在单卡A100上推理速度提升30%。身在AI这股浪潮中，只要本地电脑硬件条件允许的话，我都会尝试着去部署优秀的开源大模型。说到开源大模型，相对而言的就是闭源大模型，我们在脑海中很自然地浮现出国外的OPENAI，以及国内的百度，也就是李彦宏。
Qwen2.5-VL-7B-Instruct微调
02-09
### 对Qwen2.5-VL-7B-Instruct进行微调的方法 对于Qwen2.5-VL-7B-Instruct模型的微调，可以借鉴LLaVA-Instruct-158K数据集上的训练参数设置。具体而言，在该数据集上执行微调时采用的学习率为2e-5，批处理大小设定为32，并且整个过程持续了3个epoch[^1]。 为了确保模型能够适应特定的任务需求并优化性能表现，建议采取以下措施： #### 数据准备 构建高质量的数据集至关重要。应收集与目标应用场景紧密关联的图像及其对应的描述或问答对作为训练样本。这些样例需具备足够的多样性以覆盖各种可能的情况，从而帮助模型更好地泛化到未见过的数据。 #### 训练配置调整 基于先前的经验教训，当涉及到视觉问答任务时，应当特别注意输入提示的设计。为了避免模型倾向于生成过短的回答，可尝试改进提示模板，使其更加精确地指导预期输出格式。例如，可以通过显式指定希望获得的具体信息量级来引导更详细的回应[^2]。 此外，考虑到不同组件之间的协作机制，如果计划利用多模态架构，则有必要评估各部分间的交互效果以及整体系统的稳定性。这或许意味着要探索不同于传统方式的新颖设计方案，比如引入混合变换器结构来增强跨模式融合的能力[^3]。 ```python from transformers import AutoModelForVision2Seq, AutoTokenizer, Trainer, TrainingArguments model_name = "Qwen/Qwen2.5-VL-7B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForVision2Seq.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=32, learning_rate=2e-5, logging_dir='./logs', ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, tokenizer=tokenizer, ) trainer.train() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值