【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境

【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境
 
本次修炼方法请往下查看

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 免费获取相关内容文档关注：微信公众号，发送 pandas 即可获取
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

🎯 1. InternLM-XComposer介绍

  Intern-XComposer2-VL-7B是一个多模态视觉-语言预训练模型，它结合了视觉和语言信息，用于理解和生成跨模态内容。这种模型在图像描述、视觉问答、视觉对话等任务中表现出色，具体的榜单效果评估如下所示：

  从上述的榜单可以看出intern-xcomposer2-vl-7b在模型的整体性能上面还是很能打的，不仅评估效果相对比较优化，同时模型的整体参数大小也不是特别的大，感兴趣的可以去在线体验接口进行访问，体验链接：具体的如下所示：

💡 2. 微调环境搭配

  微调代码和环境的相关配置可以去github上面去找到相应的代码即可，然后拉下来，里面有一些相关的坑，可以参考跳过：
  pytorch版本，上面小时的pytorch版本是

  但是亲测使用上述的版本时有较多的问题，这里可以换成torch==2.20版本，同时我们需要对其进行调整
  当下载模型下来还需要下载一下视频编码器vit，同时需要改变视觉编码器的路径，具体的修改在如下目录下：

  然后在修改里面的视觉编码器的值，改成自己的路径即可：

💡 3. 特别注意点

  安装的教程里面明确制定了transforms的版本，这个大家一定要指定，不然会报如下的错误：

    raise AttributeError(f"'{type(self).__name__}' object has no attribute '{name}'")
AttributeError: 'CLIPEncoder' object has no attribute '_gradient_checkpointing_func'. Did you mean: 'gradient_checkpointing'?
  0%|                                                                                                                                                                          | 0/535 [00:04<?, ?it/s]
[2024-07-11 09:39:48,813] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13902 closing signal SIGTERM
[2024-07-11 09:39:48,813] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13905 closing signal SIGTERM
[2024-07-11 09:39:48,814] torch.distributed.elastic.multiprocessing.api: [WARNING] Sending process 13906 closing signal SIGTERM
[2024-07-11 09:39:49,805] torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: 1) local_rank: 1 (pid: 13903) of binary: /mnt/dolphinfs/hdd_pool/docker/user/hadoop-hmart-peisongpa/tanyunfei/conda/envs/llm/bin/python3.10

  这个时候就是transforms的版本不匹配的问题，我们需要将其替换成如下的版本即可：

pip install transformers==4.3.32