机器学习中利用国内镜像安装包

        由于我们需要的一些机器学习的包需要在国外网站上下载,鉴于国内的种种限制,我们往往需要借助国内的镜像来实现快速下载,这里就常用的几个做一下总结:

(1)国内常用镜像

  • 国内源:

清华:https://pypi.tuna.tsinghua.edu.cn/simple

阿里云:https://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学:https://pypi.hustunique.com/

山东理工大学:https://pypi.sdutlinux.org/ 

豆瓣:https://pypi.douban.com/simple/

(2)怎么使用

  • 临时使用:

可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple
例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider,这样就会从清华这边的镜像去安装pyspider库。

          也可以用pip install pyspider --index-url https://pypi.tuna.tsinghua.edu.cn/simple。

  • 永久修改,一劳永逸:

Linux下,修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”,表示是隐藏文件夹)

内容如下:

[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=mirrors.aliyun.com

windows下,直接在user目录中创建一个pip目录,再新建文件pip.ini。(例如:C:\Users\WQP\pip\pip.ini)内容同上。有时候Windows下需要通过whl包来进行安装,此时可以先去下面的网站找到和自己环境(python版本和系统)匹配的whl文件,然后再直接pip install该whl包即可实现安装。

https://www.lfd.uci.edu/~gohlke/pythonlibs/

补充:

  • 想要查看包是否安装:

避免先进入python环境,然后再import该包查看是否安装,可以尝试下面命令

python -c "import numpy as np" ###替换成想测试的包即可
//常见的还有一种python -m http.server    #python3中启动一个简单的http服务器
//这种方式将库中的python模块用作脚本去运行,与直接运行脚本区别在于影响sys.path这个属性
  • 想要查看安装包的版本信息

在导入包后,利用下面命令查看

import numpy as np

print(np)  ###查看包安装的位置
print(np.__version__) ###查看安装包的版本信息
  • 查看可选择的包的版本

在安装包的时候输入以下命令及可得到其可替换的版本,然后再选择安装

pip install numpy==   ###会输出安装替换的版本,选择后再安装

conda search numpy   ###需先安装anaconda

yum search numpy   ##centos系统
  • 其实pip安装与源码安装第三方库区别不大,看自己需求来,只不过大家习惯了用pip来安装,简单快捷方便,不需要make即可。另外再补充一点,有时候我们在看一些源码的时候会发现,发现一些模块没有提供pip install 命令和安装教程 , 只提供了一个setup.py文件,这个时候安装步骤如下,
1、进入终端
2、python setup.py build
3、python setup.py install

同时,需要注意的是python setup.py install 用于安装(通常是第三方)软件包,您不打算自己开发/修改/调试。

对于你自己的东西,你想先安装你的软件包,然后能够经常编辑代码,不必每次都重新安装软件包 - 这正是python setup.py develop它的作用:它安装软件包(通常只是一个源文件夹)以某种方式允许您在将代码安装到(虚拟)环境后方便地编辑代码,并使更改立即生效。

请注意,强烈建议使用pip install .(安装)和pip install -e .(开发人员安装)来安装软件包,因为setup.py直接调用会对许多依赖项执行错误操作,例如pull prereleases和不兼容的软件包版本,或者使软件包难以卸载pip

如果适应了用conda来进行包的安装,直接用conda install xxx即可,但是同样的原因下载比较慢,于是可以考虑添加国内镜像,

永久方式:

修改conda 应用程序的配置文件,在用户的根目录之下:

windows:C:\users\username\.condarc    inux:/home/username/.condarc

查看源:conda config --show-sources
添加清华源:conda config --add channels
是否显示channel的来源:conda config --set show_channel_urls yes/no
移除源:conda config --remove channels

临时方式:

conda install  -c  镜像源地址  package

conda install  --channel  镜像源地址  package

比如,

conda install pytorch=0.4.1 torchvision -c pytorch
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

补充一句,安装torch和对应的torchvision版本可以参考如下信息

在这里插入图片描述

torch每迭代一个大的版本,torchvision也会随之升级一个版本。如果不想利用conda安装可以直接去

https://download.pytorch.org/whl/torch_stable.html

下载安装即可。

  • 对于有些包不能直接通过pip来安装,需要借助setup.py来完成,具体操作如下,
python setup.py install

常见的场景有程序打包分发时需要包括自己的一些操作时,具体的可以参考这篇博客Python 的 setup.py 详解_calvinpaean的博客-CSDN博客

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值