SWIFT框架lora微调MiniCPM-V-2 2.8B

可以但心里觉得不行

已于 2024-12-10 15:09:32 修改

阅读量691

点赞数 6

文章标签： swift 人工智能

于 2024-11-05 20:34:51 首次发布

本文链接：https://blog.csdn.net/qq_40241816/article/details/143524531

版权

代码地址：
MiniCPM：https://github.com/OpenBMB/MiniCPM-V
SWIFT：https://github.com/modelscope/ms-swift/tree/main
微调参考：https://github.com/modelscope/ms-swift/blob/main/docs/source/Multi-Modal/minicpm-v-2%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md#%E5%BE%AE%E8%B0%83
微调流程：
1.git下载MiniCPM代码，hf或modelscope下载模型文件https://huggingface.co/openbmb/MiniCPM-V-2
2.git下载swift代码并安装，如果之后步骤出现numpy版本问题，可重装numpy为1.20.3版本

git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'  -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

3.swift推理测试，可参考

CUDA_VISIBLE_DEVICES=0 swift infer \
		--model_type minicpm-v-v2-chat \
		--model_id_or_path 模型文件保存路径

运行成功后可输入prompt和图片进行测试，图片可以是路径与url：

<<< 描述这张图片
Input a media path or URL <<< http://modelscope-open.oss-cn-hangzhou.aliyuncs.com/images/cat.png
这张图片展示了一只小猫的特写，它的毛色主要是黑白相间，带有一些浅色条纹，可能暗示着虎斑猫品种。小猫的眼睛是蓝色的，瞳孔看起来是黑色的，给人一种深邃和好奇的感觉。它的耳朵竖立着，尖端是白色的，与毛色相匹配。小猫的鼻子是黑色的，嘴巴微微张开，露出牙齿，表明它可能在微笑或嬉戏。背景模糊，但似乎是室内环境，可能是地板或墙壁，颜色柔和，与小猫的毛色相融合。图片中的风格化效果使小猫看起来像一幅绘画或插图，而不是一张真实的照片。

4.微调数据集准备。swift支持多种数据格式，具体可参考swift的git，这里使用jsonl。jsonl里每行代表一条数据，可以有多张图，也可以进行多轮问答，在json里添加"history"即可。具体可参考：https://github.com/modelscope/ms-swift/blob/main/docs/source/Instruction/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md#-%E6%8E%A8%E8%8D%90%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0%E7%9A%84%E5%BD%A2%E5%BC%8F

{"query":"你的prompt","response":"期望得到的回答","images":["图片1路径","图片2路径"]}

5.开始微调。设置好模型、数据路径以及一些训练参数，启动即可开始微调。可供调整的参数见 https://github.com/modelscope/ms-swift/blob/main/docs/source/Instruction/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.md

CUDA_VISIBLE_DEVICES=0 swift sft \
    --model_type minicpm-v-v2-chat \
    --model_id_or_path ./MiniCPM-V-2-train/ \
    --dataset jsonldata/train.jsonl \
    --val_dataset jsonldata/val.jsonl \
    --num_train_epochs 10

显卡使用P40 24G，基于训练情况看12G显存勉强够，16G显存会比较保险