配置conda虚拟环境
前言
安装anaconda3后,由于不同的项目对环境的需求是不同的,不同的项目所需环境中的配置包可能会冲突。因此我们可以通过配置conda虚拟环境,对不同的环境进行一个分装打包,以免环境之间的冲突。同时,conda环境对环境的迁移也是有很大帮助的。
一、配置conda虚拟环境
1. 确定pyhton版本
如果是复现项目,首先要观察项目文件中的说明,有没有对python等有特殊的说明。
conda create -n (name) python==3.8
接下来安装虚拟环境,如果涉及到gpu使用的话,首先要看驱动和pytorch版本。
2. 查看驱动版本
nvidia-smi
3. 安装pytorch-cuda
在pytorch官网上查看对应cuda版本的pytorch,用官网给的命令下载。如果项目中有特殊的pytorch要求,可以先在nvidia官网下载安装对应的cuda版本然后通过修改路径软连接来切换cuda版本
4. 切换cuda版本
通过修改路径软连接来切换cuda版本
rm /usr/local/cuda
ln-s /usr/local/cuda-11.6 /usr/local/cuda
可通过ll查看已存在的软连接
ll
5. 开始安装环境所需要的包
可以用pip install、conda stall等多种方法。
pip install (packagename) #pip安装
pip install -r requirements.txt #pip批量安装,requirements.txt文件中记录了安装包以及其版本
conda install (packagename) #conda安装
二、注意事项
1. pip和conda安装如果混用安装的话,会导致后续迁移环境时conda-pack命令出错;
2. pip批量安装不成功时,可以一个个安装;
3. 一般来说,pip比conda能找到的包更多;
4. conda安装如果找不到包,可以使用conda-forge命令
conda install -c conda-forge (packagename)
三、打包虚拟环境
首先退出虚拟环境
conda deactivate #退出虚拟环境
然后运用conda-pack命令将对应的虚拟环境打包为tar
# -o 参数指定打包路径和名称,把虚拟环境 my_env 打包为 out_name.tar.gz
conda pack -n my_env -o out_name.tar.gz
如果因为pip和conda同时安装而打包失败,则可以考虑直接将envs中的文件打包成zip,然后在目标机上创建空白的目录,路径与源机相同,再创建软连接指向该目录。
总结
本文简单介绍了在gpu机器上配置一个conda虚拟环境并打包的过程。docker环境配置可以参见下一章docker环境配置。