【多模态大模型教程】在自定义数据上使用Qwen-VL多模态大模型的微调与部署指南

Qwen-VL 是阿里云研发的大规模视觉语言模型(Large Vision Language Model, LVLM)。Qwen-VL 可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。

Qwen-VL-Chat = 大语言模型(Qwen-7B) + 视觉图片特征编码器(Openclip ViT-bigG) + 位置感知视觉语言适配器(可训练Adapter)+ 1.5B的图文数据 + 多轮训练 + 对齐机制(Chat)

Qwen-VL 系列模型的特点包括:

  • 多语言对话模型:天然支持英文、中文等多语言对话,端到端支持图片里中英双语的长文本识别;

  • 多图交错对话:支持多图输入和比较,指定图片问答,多图文学创作等;

  • 开放域目标定位:通过中文开放域语言表达进行检测框标注;

  • 细粒度识别和理解:448分辨率可以提升细粒度的文字识别、文档问答和检测框标注。

2. 硬件配置及部署要求

微调训练的显存占用及速度如下(BS=1),可根据显存大小调整Sequence Length参数

MethodSpeed (512 Sequence Length)Mermory (512 Sequence Length)
LoRA (Base)2.4s/it37.3GB
LoRA (Chat)2.3s/it23.6GB
Q-LoRA4.5s/it17.2GB

推理阶段的显存占用及速度如下

QuantizationSpeed (2048 tokens)Mermory (2048 tokens)
BF1628.8722.60GB
Int437.7911.82GB
  • A100、H100、RTX3060、RTX3070等显卡建议启用bf16精度以节省显存

  • V100、P100、T4等显卡建议启用fp16精度以节省显存

  • 使用CPU进行推理,需要约32GB内存,默认GPU进行推理,需要约24GB显存

软件环境配置

$ curl -O https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh   // 从官网下载安装脚本  
$ bash Anaconda3-2019.03-Linux-x86_64.sh           // 阅读协议确认安装,安装完成后再输入yes以便不需要手动将Anaconda添加到PATH  
$ conda create -n qwen_vl python=3.10            // 安装虚拟环境, python 3.10及以上版本  
$ conda activate qwen_vl                         // 激活虚拟环境  
$ conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=11.8 -c pytorch -c nvidia // pytorch 2.0及以上版本, 建议使用CUDA 11.4及以上

3. 快速使用及模型下载地址

利用 ModelScope 和 Transformers 快速使用 Qwen-VL 和 Qwen-VL-Chat。

安装相关的依赖库

pip3 install -r requirements.txt  
pip3 install -r requirements_openai_api.txt  
pip3 install -r requirements_web_demo.txt  
pip3 install deepspeed  
pip3 install peft  
pip3 install optimum  
pip3 install auto-gptq  
pip3 install modelscope -U

2. 各模型文件的下载

建议先从 ModelScope 下载模型及代码至本地,再从本地加载模型:

from modelscope import snapshot_download  
from transformers import AutoModelForCausalLM, AutoTokenizer  
  
# 其中版本v1.1.0支持INT4、INT8的在线量化,其余版本不支持  
model_id = 'qwen/Qwen-VL-Chat'  
  
revision = 'v1.0.0'   
  
# 下载模型到指定目录  
local_dir = "/root/autodl-tmp/Qwen-VL-Chat"  
  
snapshot_download(repo_id=model_id, revision=revision, local_dir=local_dir)

也可手动下载,下载地址如下:

  • HuggingFace的全精度版本:https://huggingface.co/Qwen/Qwen-VL-Chat

  • HuggingFace的INT4量化版本:https://huggingface.co/Qwen/Qwen-VL-Chat-Int4

  • ModelScope的全精度版本:https://modelscope.cn/models/qwen/Qwen-VL-Chat

3. Qwen-VL-chat 推理使用

第一种通过网页端Web UI使用:

# 启动命令,局域网访问  
python web_demo_mm.py --server-name 0.0.0.0

第二种通过代码使用:

from transformers import AutoModelForCausalLM, AutoTokenizer  
from transformers.generation import GenerationConfig  
import torch  
torch.manual_seed(1234)  
  
# 请注意:根据显存选择配置,分词器默认行为已更改为默认关闭特殊token攻击防护。  
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-VL-Chat", trust_remote_code=True)  
  
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-VL-Chat", device_map="auto", trust_remote_code=True, bf16=True, fp16=Flase).eval()  
  
# 第一轮对话  
query = tokenizer.from_list_format([  
    {'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'}, # Either a local path or an url  
    {'text': '这是什么?'},  
])  
response, history = model.chat(tokenizer, query=query, history=None)  
print(response)  
# 图中是一名女子在沙滩上和狗玩耍,旁边是一只拉布拉多犬,它们处于沙滩上。  
  
# 第二轮对话  
response, history = model.chat(tokenizer, '框出图中击掌的位置', history=history)  
print(response)  
# <ref>击掌</ref><box>(536,509),(588,602)</box>

4. 自定义数据微调

提供了finetune.py这个脚本供用户实现在自己的数据上进行微调的功能,以接入下游任务。此外还提供了shell脚本减少用户的工作量。这个脚本支持 DeepSpeed 和 FSDP 。

4.1 训练数据准备

需要将所有样本数据放到一个列表中并存入JSON文件中。每个样本对应一个字典,包含id和conversation,其中后者为一个列表。示例如下所示:

[  
  {  
    "id": "identity_0",  
    "conversations": [  
      {  
        "from": "user",  
        "value": "你好"  
      },  
      {  
        "from": "assistant",  
        "value": "我是Qwen-VL,一个支持视觉输入的大模型。"  
      }  
    ]  
  },  
  {  
    "id": "identity_1",  
    "conversations": [  
      {  
        "from": "user",  
        "value": "Picture 1: <img>https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg</img>\n图中的狗是什么品种?"  
      },  
      {  
        "from": "assistant",  
        "value": "图中是一只拉布拉多犬。"  
      },  
      {  
        "from": "user",  
        "value": "框出图中的格子衬衫"  
      },  
      {  
        "from": "assistant",  
        "value": "<ref>格子衬衫</ref><box>(588,499),(725,789)</box>"  
      }  
    ]  
  },  
  {   
    "id": "identity_2",  
    "conversations": [  
      {  
        "from": "user",  
        "value": "Picture 1: <img>assets/mm_tutorial/Chongqing.jpeg</img>\nPicture 2: <img>assets/mm_tutorial/Beijing.jpeg</img>\n图中都是哪"  
      },  
      {  
        "from": "assistant",  
        "value": "第一张图片是重庆的城市天际线,第二张图片是北京的天际线。"  
      }  
    ]  
  }  
]

对数据格式的解释:

  • 为针对多样的VL任务,增加了一下的特殊tokens: <img> </img> <ref> </ref> <box> </box>.

  • 对于带图像输入的内容可表示为 Picture id: <img>img_path</img>\n{your prompt},其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。

  • 对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>,其中 (x1, y1)(x2, y2)分别对应左上角和右下角的坐标,并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过<ref>text_caption</ref>表示。

4.2 对模型进行LoRA微调

微调脚本能够帮你实现:

  • 全参数微调,不支持单卡训练,且需确认机器是否支持bf16 sh finetune/finetune_ds.sh

  • LoRA

  • Q-LoRA

1. LoRA微调

使用官方项目里提供的微调脚本进行LoRA微调测试,模型采用HuggingFace下载的那个全精度模型,数据采用上面的示例数据,建议模型路径使用绝对路径,如果你想节省显存占用,可以考虑使用chat模型进行LoRA微调,显存占用将大幅度降低。

# 单卡训练  
sh finetune/finetune_lora_single_gpu.sh  
# 分布式训练  
sh finetune/finetune_lora_ds.sh  
  
#!/bin/bash  
  
export CUDA_DEVICE_MAX_CONNECTIONS=1  
DIR=`pwd`  
  
MODEL="/root/autodl-tmp/Qwen-VL-Chat"  
DATA="/root/autodl-tmp/data.json"  
  
export CUDA_VISIBLE_DEVICES=0  
  
python3 finetune.py \  
    --model_name_or_path $MODEL \  
    --data_path $DATA \  
    --bf16 True \  
    --fix_vit True \  
    --output_dir output_qwen \  
    --num_train_epochs 5 \  
    --per_device_train_batch_size 1 \  
    --per_device_eval_batch_size 1 \  
    --gradient_accumulation_steps 8 \  
    --evaluation_strategy "no" \  
    --save_strategy "steps" \  
    --save_steps 1000 \  
    --save_total_limit 10 \  
    --learning_rate 1e-5 \  
    --weight_decay 0.1 \  
    --adam_beta2 0.95 \  
    --warmup_ratio 0.01 \  
    --lr_scheduler_type "cosine" \  
    --logging_steps 1 \  
    --report_to "none" \  
    --model_max_length 600 \  
    --lazy_preprocess True \  
    --gradient_checkpointing \  
    --use_lora

注意事项:

  • 需要修改脚本中的MODEL、DATA参数,将其换成实际的模型和数据地址

  • 需要修改脚本里的model_max_length参数,默认是2048,这需要27.3GB的显存

2. Q-LoRA微调,仅支持fp16

如果你依然遇到显存不足的问题,可以考虑使用Q-LoRA (论文)。该方法使用4比特量化模型以及paged attention等技术实现更小的显存开销。运行Q-LoRA你只需运行如下脚本:

# 单卡训练  
sh finetune/finetune_qlora_single_gpu.sh  
# 分布式训练  
sh finetune/finetune_qlora_ds.sh

3. 模型合并及推理

与全参数微调不同,LoRA和Q-LoRA的训练只需存储adapter部分的参数。因此需要先合并并存储模型(LoRA支持合并,Q-LoRA不支持),再用常规方式读取你的新模型:

from peft import AutoPeftModelForCausalLM  
  
model = AutoPeftModelForCausalLM.from_pretrained(  
    path_to_adapter, # path to the output directory  
    device_map="auto",  
    trust_remote_code=True  
).eval()  
  
merged_model = model.merge_and_unload()  
# max_shard_size and safe serialization are not necessary.   
# They respectively work for sharding checkpoint and save the model to safetensors  
merged_model.save_pretrained(new_model_directory, max_shard_size="2048MB", safe_seriali)

觉得文章有用有价值,关注码科,一起追随AI新进展,记得右下角点个在看呀!

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

  • 24
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值