qwen-vl微调

最新推荐文章于 2024-09-24 09:02:50 发布

Kun Li

最新推荐文章于 2024-09-24 09:02:50 发布

阅读量686

点赞数 3

分类专栏：多模态大语言模型文章标签： Qwen LVM

本文链接：https://blog.csdn.net/u012193416/article/details/138463093

版权

多模态大语言模型专栏收录该内容

38 篇文章 6 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何进行Qwen-VL模型的数据格式转换和微调过程。首先，数据需要按照特定模板格式进行整理。接着，通过运行`pip install -r requirements.txt`安装必要的依赖，但需要注意GCC需要升级到9.3版本。由于Lora在V100显存不足，无法进行微调，建议使用A800设备。若要在V100上进行微调，可以利用swift库解决显存问题。

摘要由CSDN通过智能技术生成

1.数据格式转换

模版格式：

[
  {
    "id": "identity_0",
    "conversations": [
      {
        "from": "user",
        "value": "你好"
      },
      {
        "from": "assistant",
        "value": "我是Qwen-VL,一个支持视觉输入的大模型。"
      }
    ]
  },
  {
    "id": "identity_1",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg</img>\n图中的狗是什么品种？"
      },
      {
        "from": "assistant",
        "value": "图中是一只拉布拉多犬。"
      },
      {
        "f

了解本专栏