彻底搞懂python如何找包？包安装到哪了？如何更改环境变量？

Python 是如何寻找包的

现在大家的电脑上很可能不只有一个 Python，还有更多的虚拟环境，导致安装包的时候，一不小心你就忘记注意安装包的路径了。首先我们来解决找包的问题，这个问题回答起来很简单，但很多人不知道这个原理。假如你的 Python 解释器的路径是 $path_prefix/bin/python，那么你启动 Python 交互环境或者用这个解释器运行脚本时，会默认寻找以下位置：

1. $path_prefix/lib（标准库路径）
2. $path_prefix/lib/pythonX.Y/site-packages（三方库路径，X.Y 是对应 Python 的主次版本号，如 3.7, 2.6）
3. 当前工作目录（pwd命令的返回结果）
   这里如果你用的是 Linux 上的默认 Python，$path_prefix 就是 /usr，如果你是自己使用默认选项编译的，$path_prefix 就是 /usr/local。从上面第二条可以看到不同 Python 版本的三方库路径不同，如果你把 Python 从 3.6 升级到 3.7 那么之前装的三方库都没法用了。当然你可以整个文件夹都拷贝过去，大部分情况不会出问题。

几个有用函数

• sys.executable：当前使用的 Python 解释器路径
• sys.path：当前包的搜索路径列表
• sys.prefix：当前使用的 $path_prefix

示例

对于Python在哪里找到需要引用的包, 事实上Python提供了一个接口, 来获得Python查找路径的列表。

>>> import pprint
>>> import sys
>>> pprint.pprint(sys.path)

运行以上代码，输出结果如下：

['',
 'D:\\ProgramData\\Anaconda3\\python38.zip',
 'D:\\ProgramData\\Anaconda3\\DLLs',
 'D:\\ProgramData\\Anaconda3\\lib',
 'D:\\ProgramData\\Anaconda3',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\locket-0.2.1-py3.8.egg',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32\\lib',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\Pythonwin']

可以将其分为几类

第一类
 'D:\\ProgramData\\Anaconda3\\python38.zip',（标准库所在）
 'D:\\ProgramData\\Anaconda3\\DLLs',
 'D:\\ProgramData\\Anaconda3\\lib',
 'D:\\ProgramData\\Anaconda3',

第二类
'D:\\ProgramData\\Anaconda3\\lib\\site-packages',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\locket-0.2.1-py3.8.egg',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32\\lib',
 'D:\\ProgramData\\Anaconda3\\lib\\site-packages\\Pythonwin'

第三类
这里没有展示

由于我是用 conda 进行包管理，所以可能会有点差别

第一类, 很显然, 这些路径是Python安装时内置进去的。
第二类, 都是放在第一类的路径中, 但是一眼就能看出它们其实都不是Python自带的东西, 而是后安装进去的。

这类路径能够让Python纳入搜索的范围, 要归功于一种特殊的文件, *.pth文件. Python在搜索模块的过程中, 如果遇到了*.pth文件, 则将*.pth文件中所罗列的路径也纳入到搜索路径中来. 下面是一个*.pth文件的示例：

import sys, types, os;has_mfs = sys.version_info > (3, 5);
p = os.path.join(sys._getframe(1).f_locals['sitedir'], 
*('google',));importlib = has_mfs and __import__('importlib.util');
has_mfs and __import__('importlib.machinery');
m = has_mfs and sys.modules.setdefault('google', 
importlib.util.module_from_spec(importlib.machinery.PathFinder.find_spec('google', [os.path.dirname(p)])));
m = m or sys.modules.setdefault('google', 
types.ModuleType('google'));
mp = (m or []) and m.__dict__.setdefault('__path__',[]);
(p not in mp) and mp.append(p)

第三类, 就是当前路径。 Python搜索包的顺序是按照sys.path输出的列表的顺序进行的, 并且搜索到第一个匹配的包即停止。 所以可以看出, 当前路径是第一个搜索的路径, 当前路径中的包具有覆盖所有其他包的能力. 如果你在当前路径下放置了一个datetime.py, 那么你的标准库datetime模块就不能用了， 所以起名字一定要谨慎，不要与系统中其他的包重名。

总结

所以查找包的过程,前提是找到python的解释器,这样的话才能推导出path-prefix.那python的解释器如何找呢。

whereis python

如何改变规则（改变环境变量）

既然搜索路径存放在sys.path, 那我们就改变这个变量就好了。 对于Python这样的动态语言, 并没有什么只读这回事。

sys.path

清空 sys.path 列表

库果然就找不到了。

插入需要引用包的查找位置

>>>import sys
>>>sys.path.insert(0. '/path/to/your/packages')

这段代码经常被用在Python脚本的最开始, 用来设置脚本需要引用的包的查找位置。

设置 PYTHONPATH

PYTHONPATH是一个环境变量，通常我们使用这个句子来改变它

# 三种路径声明方式
export PYTHONPATH=你的路径:$PYTHONPATH
export PYTHONPATH=$PYTHONPATH:你的路径
export PYTHONPATH=<你的路径1>:<你的路径2>: ...... :$PYTHONPATH # 加入多路径，冒号分割

PYTHONPATH为程序的部署提供了更好的灵活性, 你会发现, 几乎所有的Python部署工具, Python程序监控工具都使用PYTHONPATH来配置搜索路径。

环境变量 = 系统环境变量 + 用户环境变量

命令	作用
echo $PATH	查看当前系统PATH路径
env	显示所有环境变量
set	显示本地定义的shell变量
export NEW=“new”	这是一个新的环境变量
unset new	清除环境变量

/etc/profile

对所有用户永久生效

sudo vi /etc/profile
# 在文件最后添加路径并保存
PATH=$PATH:xxx（你的python路径 ） 
export PATH
# 使修改文件立马生效
source /etc/profile

~/.bash_profile

对单一用户永久生效
在不同Linux中，这个文件的名字不同，可能的名字有~/.bash_profile、~/.bash_login、~./profile其中的一种或者几种。

sudo vi ~/.bash_profile
source ~/.bash_profile

.bashrc

专注于一个用户的bash的环境信息，可以修改终端环境
若要每次打开终端环境都能有效，将export PYTHONPATH=”你的路径:$PYTHONPATH” 添加至 ~/.bashrc 最后即可。

sudo vi ~/.bashrc
# 三种路径声明方式
export PYTHONPATH=你的路径:$PYTHONPATH
export PYTHONPATH=$PYTHONPATH:你的路径
export PYTHONPATH=<你的路径1>:<你的路径2>: ...... :$PYTHONPATH # 加入多路径，冒号分割
source ～/.bashrc

export 声明

直接运行 export 命令定义变量 ，只对当前 shell（BASH）有效，关闭Shell终端失效。

export PATH=$PATH:<PATH 1>:<PATH 2>:<PATH 3>:------:<PATH N> 
export 变量名=变量值

终端问题报错

运行 source ～/.bashrc 命令出现如下错误：

/home/ubuntu/.bashrc:16: command not found: shopt
/home/ubuntu/.bashrc:24: command not found: shopt
/home/ubuntu/.bashrc:111: command not found: shopt
/usr/share/bash-completion/bash_completion:51: command not found: shopt
/usr/share/bash-completion/bash_completion:57: command not found: complete

原因： 说明你的终端用的不是bash。终端也分好多种的，比如说还有 .zsh终端。

解决方法 ：所以现在只需要把bashrc都换成zshrc即可。其他操作思路都相同。

当你用 vim或gedit 打开bashrc发现里面都是空白的，那就很有可能说明你的终端不是 bash 了。

查看终端类型

env

# 去找SHELL=???
SHELL=/bin/zsh

Python 如何安装包

现在用安装 Python 包基本是用的 pip，就算你是用 pipenv，poetry，底层依然是 pip。

运行pip有两种方式：

• pip …
• python -m pip

第一种方式和第二种方式大同小异，区别是第一种方式使用的 Python 解释器是写在 pip 文件的 shebang 里的，一般情况下，如果你的 pip 路径是 $path_prefix/bin/pip，那么 Python 路径对应的就是 $path_prefix/bin/python。如果你用的是 Unix 系统则 cat $(which pip) 第一行就包含了 Python 解释器的路径。第二种方式则显式地指定了 Python 的位置。这条规则，对于所有 Python 的可执行程序都是适用的。流程如下图所示。

那么，不加任何自定义配置时，使用 pip 安装包就会自动安装到 $path_prefix/lib/pythonX.Y/site-packages 下（$path_prefix 是从上一段里得到的），可执行程序安装到 $path_prefix/bin 下，如果需要在命令行直接使用 my_cmd 运行，记得加到 PATH。

pip 中更改安装位置

• --prefix PATH，替换 $path_prefix 为给定的值
• --root ROOT_PATH，在 $path_prefix 前面加上 ROOT_PATH，比如 --root /home/frostming ，$path_prefix 就会从/usr变成 /home/frostming/usr
  - --target TARGET，直接指定安装位置到 TARGET

虚拟环境

虚拟环境就是为了隔离不同项目的依赖包，使他们安装到不同的路径下，以防止依赖冲突的问题。理解了 Python 是如何安装包的机制之后就不难理解虚拟环境（virtualenv, venv模块）的原理。其实，运行virtualenv myenv会复制一个新的 Python 解释器到myenv/bin下，并创建好myenv/lib，myenv/lib/pythonX.Y/site-packages等目录（venv模块不是用的复制，但结果基本一样）。执行source myenv/bin/activate以后会把myenv/bin塞到PATH前面，让这个复制出来的 Python 解释器最优先被搜索到。这样，后续安装包时，$path_prefix就会是myenv了，从而实现了安装路径的隔离。

总结

看到这里大家可以发现，关于包路径搜索最重要的就是这个$path_prefix路径前缀，而这个值又是从使用的 Python 解释器路径推导出来的。所以要找到包的路径，只需要知道解释器的路径就可以了，如果遇到改变包的路径，只需要通过正确的PATH设置，指定你想要的 Python 解释器即可。

本文示例均为Linux习惯，如果是WIndows系统，则应做适当改动。如$path_prefix/bin 应为 $path_prefix/Scripts。