由于我们需要的一些机器学习的包需要在国外网站上下载,鉴于国内的种种限制,我们往往需要借助国内的镜像来实现快速下载,这里就常用的几个做一下总结:
(1)国内常用镜像
-
国内源:
清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:https://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:https://pypi.hustunique.com/
山东理工大学:https://pypi.sdutlinux.org/
豆瓣:https://pypi.douban.com/simple/
(2)怎么使用
-
临时使用:
可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple
例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider,这样就会从清华这边的镜像去安装pyspider库。
也可以用pip install pyspider --index-url https://pypi.tuna.tsinghua.edu.cn/simple。
-
永久修改,一劳永逸:
Linux下,修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”,表示是隐藏文件夹)
内容如下:
[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=mirrors.aliyun.com
windows下,直接在user目录中创建一个pip目录,再新建文件pip.ini。(例如:C:\Users\WQP\pip\pip.ini)内容同上。有时候Windows下需要通过whl包来进行安装,此时可以先去下面的网站找到和自己环境(python版本和系统)匹配的whl文件,然后再直接pip install该whl包即可实现安装。
https://www.lfd.uci.edu/~gohlke/pythonlibs/
补充:
- 想要查看包是否安装:
避免先进入python环境,然后再import该包查看是否安装,可以尝试下面命令
python -c "import numpy as np" ###替换成想测试的包即可
//常见的还有一种python -m http.server #python3中启动一个简单的http服务器
//这种方式将库中的python模块用作脚本去运行,与直接运行脚本区别在于影响sys.path这个属性
- 想要查看安装包的版本信息
在导入包后,利用下面命令查看
import numpy as np
print(np) ###查看包安装的位置
print(np.__version__) ###查看安装包的版本信息
- 查看可选择的包的版本
在安装包的时候输入以下命令及可得到其可替换的版本,然后再选择安装
pip install numpy== ###会输出安装替换的版本,选择后再安装
conda search numpy ###需先安装anaconda
yum search numpy ##centos系统
- 其实pip安装与源码安装第三方库区别不大,看自己需求来,只不过大家习惯了用pip来安装,简单快捷方便,不需要make即可。另外再补充一点,有时候我们在看一些源码的时候会发现,发现一些模块没有提供pip install 命令和安装教程 , 只提供了一个setup.py文件,这个时候安装步骤如下,
1、进入终端
2、python setup.py build
3、python setup.py install
同时,需要注意的是python setup.py install
用于安装(通常是第三方)软件包,您不打算自己开发/修改/调试。
对于你自己的东西,你想先安装你的软件包,然后能够经常编辑代码,而不必每次都重新安装软件包 - 这正是python setup.py develop
它的作用:它安装软件包(通常只是一个源文件夹)以某种方式允许您在将代码安装到(虚拟)环境后方便地编辑代码,并使更改立即生效。
请注意,强烈建议使用pip install .
(安装)和pip install -e .
(开发人员安装)来安装软件包,因为setup.py
直接调用会对许多依赖项执行错误操作,例如pull prereleases和不兼容的软件包版本,或者使软件包难以卸载pip
。
如果适应了用conda来进行包的安装,直接用conda install xxx即可,但是同样的原因下载比较慢,于是可以考虑添加国内镜像,
永久方式:
修改conda 应用程序的配置文件,在用户的根目录之下:
windows:C:\users\username\.condarc
inux:/home/username/.condarc
查看源:conda config --show-sources
添加清华源:conda config --add channels
是否显示channel的来源:conda config --set show_channel_urls yes/no
移除源:conda config --remove channels
临时方式:
conda install -c 镜像源地址 package
conda install --channel 镜像源地址 package
比如,
conda install pytorch=0.4.1 torchvision -c pytorch
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/
补充一句,安装torch和对应的torchvision版本可以参考如下信息
torch每迭代一个大的版本,torchvision也会随之升级一个版本。如果不想利用conda安装可以直接去
https://download.pytorch.org/whl/torch_stable.html
下载安装即可。
- 对于有些包不能直接通过pip来安装,需要借助setup.py来完成,具体操作如下,
python setup.py install
常见的场景有程序打包分发时需要包括自己的一些操作时,具体的可以参考这篇博客Python 的 setup.py 详解_calvinpaean的博客-CSDN博客。