python 多版本共存、venv的使用和修改

看这篇文章之前你需要了解的

在Windows下推荐Anaconda，Linux和Mac下推荐Miniconda，如果不是因为不明原因它们工作不良的话请用这两个工具套装来管理python！不要直接裸装python环境！

conda虽说其自身的缺陷，但绝对比白板装python要方便得多，你甚至可以只把它单纯只当做是python版本管理器而不管其他功能。

本文只是介绍如果你不得不用python的话可以用什么方式管理多个虚拟环境，事实上你会发现这很麻烦。

环境

本文讨论linux环境下源码安装python的情况，如果你是在windows会略有区别但区别不大，相信本文看完后一样会有所收获。本文默认你已经了解了linux系统的一些基本操作如进入文件夹、删除等，以及python的基本使用。不懂的可以自行百度。

主要区别有：

• windows可以方便地进行图形界面化的安装，因此选择安装目录并安装多个python版本不是什么大问题，给python.exe改名就可以实现共存了
• venv在windows环境生成的是.bat文件，位置在Scripts文件夹中。需要修改的文件是activate.bat和deactivate.bat

没看懂我在说什么的没关系，往下我还会重新提到在windows环境的操作

为什么要安装多个python版本

很多库（我说的就是tensorflow）经常有新版本不兼容旧版本代码的现象，因此即使python的语法能做到前后版本兼容（我是说python3，先不提2），我们也经常需要同时安装好多个tensorflow的版本。

问题就这了：tensorflow的老版本不愿意支持最新版本的python，比如这个tensorflow的1.10.1版本

最新就支持到python3.6，注意这个更新时间在2018年，也就是说在18年之后我们新买的机器装上python3.7了，甚至3.8了（有时候你会喜欢新特性不是吗），这玩意已经不支持了，才过2年的代码就跑不了了（本文写于2020年）！这时候你需要python3.6。

源码安装python

python官网下载各个版本的python源码，瞧准要下的源码右键复制地址就行，然后随你喜欢用wget，curl或者其他东西下载，随意，例如：

wget https://www.python.org/ftp/python/3.8.2/Python-3.8.2.tgz

下载之后解压，我这里下载的是tgz的源码，所以

tar -zxvf Python-3.8.2.tgz

进到解压出来的文件夹里，然后三连

./configure
make
sudo make install

如果要自定义安装目录，可以加--prefix编译选项

./configure --prefix /usr/local/lib/python38

其他版本的按类似方法搞就可以啦，重命名成相应的版本号。我这里直接用38，少打个点省事。
在环境里添加软连接，或者说linux版的快捷方式，以便直接调用：

sudo ln -s /usr/local/lib/python38/bin/python3 /usr/local/bin/python3
sudo ln -s /usr/local/lib/python38/bin/python3 /usr/local/bin/python38

类似地设置好其他版本的软连接，我建议把最新版本的python设置成python3，各个版本再设置python3n的软连接，默认的python是python2.7

windows安装多版本python

在python官网找到要下的版本，拉到最下面下载Windows x86-64 executable installer就好啦

安装记得自定义安装目录，添加环境变量，安装结束之后把各个安装目录里的python.exe改好名

pip的使用

由于多个python版本共存的原因，如果你懒得单独给每个pip设置软连接，那以后就不要图省事了：

python38 -m pip install --upgrade pip

linux环境默认安装的python没有pip的问题（20200418增加）

sudo easy_install pip

使用这个命令应该可以解决这个问题（至少我这里解决了）。

venv的使用

类似pip，如下代码：

python38 -m venv test

将在当前目录下创建一个虚拟的python环境的文件夹，版本是python3.8，环境名为test，文件夹里是python3.8的解释器和标准库。

我推荐的使用方式是在你的项目里专门为这个项目创建虚拟环境，环境直接保存在项目文件夹里，省事。
启动这个虚拟环境的方法：

source ./test/bin/activate

在这里只有一个python的版本，就是你所选择的那个版本，所有用到的第三方库都需要重新安装，也因此不必担心原来环境的兼容问题，玩坏了直接删掉这个文件夹重来就行，非常方便。
关闭虚拟环境有两个方法：要么直接关掉这个termianl，要么用这个命令：

deactivate

就可以了。你甚至可以输入一半用tab补全。

windows下venv的创建和使用

创建和linux环境下毫无区别，也可以用一样的方式使用，只是不需要用source命令调用了，直接运行activate就可以。注意路径里的/要改成\。
windows多了一种使用方式：调用activate.bat和deactivate.bat，它们和activate都在虚拟环境文件夹的在Scripts文件夹里

对activate和deactivate的修改

有时我们安装的第三方包（又是你，tensorflow）会需要gpu（tensorflow-gpu）或者其他非python的支持，例如：

可以看到不同版本的tensorflow需要不同版本的cuda和cudnn支持，我们希望在activate的时候顺便把cuda和cudnn的版本一起改了，deactivate的时候再改回来。有时我们会遇到更复杂的需求，想要在activate和deactivate的时候同时运行一些东西。以下以修改cuda和cudnn版本为例。

cuda和cudnn版本的修改

更改cuda和cudnn版本需要做的就是删除cuda的默认软连接再重新创建一个指向正确版本的软连接，cudnn和cuda是配套绑定在一起的，其本身就在cuda的文件夹里。例如更改为10.0版本的cuda：

sudo rm /usr/local/cuda
sudo /usr/local/cuda-10.0 /usr/local/cuda

修改回10.1版本用一样的手法就可以

sudo rm /usr/local/cuda
sudo /usr/local/cuda-10.1 /usr/local/cuda

source命令解读和venv脚本修改思路

source和sh其实是一样的命令，都是执行shell脚本。区别在于sh命令是新建一个子shell并复制父shell的状态，随后的命令都在子shell中运行，因此对父shell没什么影响，而source则是直接在当前脚本运行。这就是二者唯一的区别（先这么理解就好，因为我不知道有没有别的区别）。

经常执行命令需要root权限，如果我们把需要root权限的命令写入了脚本，如修改cuda和cudnn的命令（/usr/local的改动需要root权限），则需要sudo或者切换到root用户。于是在执行下面这个命令的时候

sudo source test/bin/activate

出现了如下报错

这是由于source是bash内置的命令，不是shell命令。切换到root用户之后不需要用sudo因此可以解决问题，但是我不想这么做。

其实解决方式非常简单，就是直接在脚本里需要root权限的命令前加sudo，运行时就不需要sudo了，虽然仍然需要输入一次密码。

有了如上知识，venv的activate脚本的修改思路也就很清晰了：直接在最后面加上需要运行的命令就好。

deactivate的修改

我们来看代码

观察到：deactivate其实是activate里定义的函数，因此直接把命令插入到33行下面，函数内部就好。如此，虚拟环境激活和停止的额外命令添加问题基本解决。

windows下的区别

windows下运行activate实际上是调用的activate.bat，deactivate也是调用了deactivate.bat，因此直接在activate.bat和deactivate.bat修改就好了。
下面的都是activate调用两个bat文件的证明了，不想看的跳过就好。