使用pip安装库时,自动卸载pytorch gpu版本并安装pytorch cpu版本的问题
使用pip安装库时,有些库的安装会卸载掉原本安装好的pytorch-gpu版本,并安装了pytorch-cpu版本,导致无法使用gpu,比如xformers,transformers库等。这导致配环境的时候非常麻烦,并且容易报废环境。
一般的方案是重新配一个环境避免冲突,但是如果基于requirements.txt安装的环境在安装好了pytorch很可能无法使用gpu。因此考虑修复环境。目前想到了两个方案。
方案1 针对单个代码项目,修改requirements.txt中的pytorch需求版本,使其与当前使用版本相同
如果requirements.txt里面的依赖关系不是很复杂,可以直接修改pytorch的版本要求,与当前安装的版本相匹配。
方案2 先装依赖,再重装pytorch
如果依赖关系比较复杂,其中的库包含了对特定pytorch版本的依赖,考虑先装requirements.txt的中依赖,装完之后再重装pytorch。目前认为最快的方案是安装完完整依赖之后用pip或者conda方案重装一遍pytorch,可以参考官网给出的教程,添加 --force-reinstall
选项避免依赖复杂装不上的情况。