anaconda 共享虚拟环境

需求背景

A,B,C… 多台服务器。
有一个公共的NAS服务器N,存储所有数据资料。
N分别挂载到A,B,C…服务器上,便于所有服务器访问数据。
挂载路径在所有服务器上统一为/nas/

现状:
A,B,C,… 上分别安装anaconda,分别创建各自的virtual env。 env_A, env_B, env_C, .etc 。
每次使用各自的 env 来跑同一份 data on N。

目标:
只在N上维护一份虚拟环境 env_main
A,B,C 上都使用这个环境。
实现包的版本统一,维护管理统一。

可行性调查

首先很容易想到的是把 ~/anaconda/ 目录整个移动到 NAS上。

anaconda官方解释了直接移动整个目录导致无法正常运作。

https://docs.anaconda.com/free/anaconda/configurations/move-directory/

官方建议我们用 环境管理指令(manage environments instructions) 来解决需求。

https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html

找到一个--prefix指令看起来可以解决我们的问题。

--prefix 可以在创建、激活的时候,指向那些不在默认~/anaconda/envs/下的环境。

创建

conda create --prefix=some_dir/myenv python=3.9

激活

conda activate some_dir/myenv

some_dir支持绝对路径和相对路径。

官网说激活成功后的前缀默认是绝对路径。
命令行会显示类似于这样的东西

(/home/user/some_dir/myenv)$

使用env_prompt设置,可以变成只显示名字

conda config --set env_prompt ‘({name})’

设置会写入.condarc文件。
设置好之后

(myenv)$

于是我们很自然地想到。
能不能在NAS上指定一个目录,去安装我们的env_main
然后在不同服务器上都用--prefix激活这个env_main

操作

在A服务器上

conda create --prefix /nas/envs/env_main python==3.9

然后在B服务器上激活

conda activate /nas/envs/env_main

在这里插入图片描述
成功…!
在这里插入图片描述
但奇怪的是,我没有设置过 env_prompt
一开始就没出现过绝对路径太长的问题。

这个方法的缺点是,ABC服务器上仍然需要分别安装anaconda。
不过确实可以达到共享env的效果。

下一个问题就是能不能共享整个anaconda?

共享anaconda

主要来自这篇文章启发

@夏小悠: Linux环境下conda虚拟环境的迁移
https://blog.csdn.net/qq_42730750/article/details/125413470

从文章中可以看到,anaconda识别自身的主要方式,是提前在 conda、pip、.bashrc等地方提前写死自身的绝对路径

结论:
如果能保证在所有服务器上,NAS的挂载路径是完全一致的,
就能做到完全共享anaconda。

因为对于任意一台服务器,anaconda所在的绝对路径都是一样的,例如 /nas/userA/anaconda3/
这样,相应的 conda文件里,解释器的绝对路径也是一致的,如/nas/userA/anaconda3/bin/python

只需要在不同服务器上的.bashrc等地方做完全同步的操作,
就可以假装每台服务器都安装过anaconda。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值