利用swift框架微调面壁小钢炮2.0

注意事项

• 2.0版本的模型需要大概10GB以上的显存，确保自己的显存够

环境准备

1. 创建虚拟环境

conda create -n your_env_name python==3.10

2. 克隆swift仓库

git clone https://github.com/modelscope/swift.git

3. 进入仓库，安装必要的环境

cd swift
pip install -e ‘.[llm]’
推荐用清华源装
pip install -e ‘.[llm]’ -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 还需要安装一个特别的包，timm，这是一个图像分类库

pip install timm
推荐用清华源装
pip install timm -i https://pypi.tuna.tsinghua.edu.cn/simple

上传模型

• 我喜欢将模型下载到本地，然后上传到服务器，看个人喜好，你也可以推理的时候直接下载，但是huggingface的访问速度很慢，你可以设置镜像

export HF_ENDPOINT=https://hf-mirror.com

模型下载链接：MiniCPM-V-2
我将模型上传到新建的model目录（上传到那，随意，只要空间够）下，如下图：

上传数据

• 训练的数据格式如下,支持多轮对话，但是每轮对话只能上传一张图片，我的数据都是单轮问答，所以我的格式就只是第一行的格式。

{"query": "55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee", "response": "fffff", "history": [], "images": ["image_path"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["AAAAA", "BBBBB"], ["CCCCC", "DDDDD"]], "images": ["image_path"]}

我的数据集格式如下：

• 上传数据集的时候确保你的图片和数据集的json文件在同一目录，以确保使用相对路径可以找到他们。

开始微调

命令如下：

CUDA_VISIBLE_DEVICES=0
swift sft
–model_type minicpm-v-v2-chat
–dataset “/home/fanzhengjie/fsy/swift/swift.json”
–model_id_or_path “/home/fanzhengjie/fsy/swift/model/MiniCPM-V-2/”

• CUDA_VISIBLE_DEVICES=0 指定哪一张卡来跑
• swift sft 运行sft脚本
• –dataset 给出数据集路径
• –model_id_or_path 给出本地模型路径

跑起来是这样的

• 可以看到他使用的是一个脚本
• 日志和输出保存在output
• 下图可以看出正在训练，可以看到他的各种参数保存的路径
  
  跑完之后可以发现检查点有一个最新一个best，可以都去试试合并
  

模型合并

• 也可以直接推理，这里就不演示了
  模型合并如下：可以在输出中找到最新的检查点，或者最好的检查点进行合并。
  合并命令：

CUDA_VISIBLE_DEVICES=0 swift export
–ckpt_dir output/minicpm-v-v2-chat/vx-xxx/checkpoint-xxx
–merge_lora true

合并后推理

CUDA_VISIBLE_DEVICES=0 swift infer
–ckpt_dir output/minicpm-v-v2-chat/vx-xxx/checkpoint-xxx-merged
–load_dataset_config true

可能遇到的错误

• NotImplementedError: Using RTX 4000 series doesn’t support faster communication broadband via P2P or IB. Please set NCCL_P2P_DISAB LE="1" and NCCL_IB_DISABLE="1" or use accelerate launch` which will do this automatically.
  详细错误如下图：
  
• 解决方案,设置两个环境变量：

export NCCL_P2P_DISABLE=1
export NCCL_IB_DISABLE=1