【大模型驯化-bug解决】成功解决subprocess.CalledProcessError: Command ‘[‘ninja‘, ‘-v‘]‘ returned non-zero exit sta

本次修炼方法请往下查看

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取 微信公众号
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

下滑查看解决方法

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  

🎯 1. 问题介绍

  在进行大模型微调过程中，我们出现pytroch版本问题而导致的subprocess.CalledProcessError: , 这个问题的出现与pytorch的版本有关，可以把pytorch版本降到1.5.0以下。但是这个解决方法治标不治本，有时候我们不可避免的需要使用高版本的pytorch，这就需要对pytorch做一些更改。

💡 2. 解决方法

2.1 找到python中目录

  通常我们在使用pytroch时候，需要通过conda创建相关的python环境，因此，我们先通过下面的命令找到Python的目录地址：

which python
./conda/envs/tts/bin/python

2.2 进入site-package目录

  当找到当前出问题的conda环境后，我们找到相关的包安装原始文件，具体操作如下所示：

cd ./conda/envs/tts/lib/python3.6/site-packages/torch/utils

2.3 修改文件cpp_extension.py

  接着我们在该目录下面通过vim编辑文件，具体操作如下所示：

vim cpp_extension.py
# 然后修改里面的代码
将['ninja','-v']改成['ninja','--v'] 或者['ninja','--version']。
# 然后保存即可进行运行了

🔍 3. 注意事项

  在对大模型进行微调过程中，pytroch的环境安装问题是比较棘手的问题，一般情况下我们将pytroch的版本更新到离最新的版本差几个版本即可，不需要完全更新到最新，如果更新到最新的版本会出现一定的问题，最好先不要更新到最新的版本。