机器学习中利用国内镜像安装包

        由于我们需要的一些机器学习的包需要在国外网站上下载,鉴于国内的种种限制,我们往往需要借助国内的镜像来实现快速下载,这里就常用的几个做一下总结:

(1)国内常用镜像

  • 国内源:

清华:https://pypi.tuna.tsinghua.edu.cn/simple

阿里云:https://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学:https://pypi.hustunique.com/

山东理工大学:https://pypi.sdutlinux.org/ 

豆瓣:https://pypi.douban.com/simple/

(2)怎么使用

  • 临时使用:

可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple
例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider,这样就会从清华这边的镜像去安装pyspider库。

          也可以用pip install pyspider --index-url https://pypi.tuna.tsinghua.edu.cn/simple。

  • 永久修改,一劳永逸:

Linux下,修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”,表示是隐藏文件夹)

内容如下:

[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=mirrors.aliyun.com

windows下,直接在user目录中创建一个pip目录,再新建文件pip.ini。(例如:C:\Users\WQP\pip\pip.ini)内容同上。有时候Windows下需要通过whl包来进行安装,此时可以先去下面的网站找到和自己环境(python版本和系统)匹配的whl文件,然后再直接pip install该whl包即可实现安装。

https://www.lfd.uci.edu/~gohlke/pythonlibs/

补充:

  • 想要查看包是否安装:

避免先进入python环境,然后再import该包查看是否安装,可以尝试下面命令

python -c "import numpy as np" ###替换成想测试的包即可
//常见的还有一种python -m http.server    #python3中启动一个简单的http服务器
//这种方式将库中的python模块用作脚本去运行,与直接运行脚本区别在于影响sys.path这个属性
  • 想要查看安装包的版本信息

在导入包后,利用下面命令查看

import numpy as np

print(np)  ###查看包安装的位置
print(np.__version__) ###查看安装包的版本信息
  • 查看可选择的包的版本

在安装包的时候输入以下命令及可得到其可替换的版本,然后再选择安装

pip install numpy==   ###会输出安装替换的版本,选择后再安装

conda search numpy   ###需先安装anaconda

yum search numpy   ##centos系统
  • 其实pip安装与源码安装第三方库区别不大,看自己需求来,只不过大家习惯了用pip来安装,简单快捷方便,不需要make即可。另外再补充一点,有时候我们在看一些源码的时候会发现,发现一些模块没有提供pip install 命令和安装教程 , 只提供了一个setup.py文件,这个时候安装步骤如下,
1、进入终端
2、python setup.py build
3、python setup.py install

同时,需要注意的是python setup.py install 用于安装(通常是第三方)软件包,您不打算自己开发/修改/调试。

对于你自己的东西,你想先安装你的软件包,然后能够经常编辑代码,不必每次都重新安装软件包 - 这正是python setup.py develop它的作用:它安装软件包(通常只是一个源文件夹)以某种方式允许您在将代码安装到(虚拟)环境后方便地编辑代码,并使更改立即生效。

请注意,强烈建议使用pip install .(安装)和pip install -e .(开发人员安装)来安装软件包,因为setup.py直接调用会对许多依赖项执行错误操作,例如pull prereleases和不兼容的软件包版本,或者使软件包难以卸载pip

如果适应了用conda来进行包的安装,直接用conda install xxx即可,但是同样的原因下载比较慢,于是可以考虑添加国内镜像,

永久方式:

修改conda 应用程序的配置文件,在用户的根目录之下:

windows:C:\users\username\.condarc    inux:/home/username/.condarc

查看源:conda config --show-sources
添加清华源:conda config --add channels
是否显示channel的来源:conda config --set show_channel_urls yes/no
移除源:conda config --remove channels

临时方式:

conda install  -c  镜像源地址  package

conda install  --channel  镜像源地址  package

比如,

conda install pytorch=0.4.1 torchvision -c pytorch
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

补充一句,安装torch和对应的torchvision版本可以参考如下信息

在这里插入图片描述

torch每迭代一个大的版本,torchvision也会随之升级一个版本。如果不想利用conda安装可以直接去

https://download.pytorch.org/whl/torch_stable.html

下载安装即可。

  • 对于有些包不能直接通过pip来安装,需要借助setup.py来完成,具体操作如下,
python setup.py install

常见的场景有程序打包分发时需要包括自己的一些操作时,具体的可以参考这篇博客Python 的 setup.py 详解_calvinpaean的博客-CSDN博客

Jupyter Notebook 是一个交互式的计算环境,常用于数据科学和机器学习项目。在使用 Jupyter Notebook 安装包时,有时为了获取更快的下载速度或者访问特定地区的库,可能会选择使用镜像源。这是因为官方的 PyPI(Python Package Index)服务器可能位于海外,对于国内用户来说,网络延迟会增加。 要通过镜像源安装 Python 包,特别是像 `pip` 这样的包管理器,你可以遵循以下步骤: 1. **配置 pip 镜像源**: 使用 `pip` 的 `--index-url` 或 `-i` 参数指定镜像源。例如,如果你想要使用阿里云的 Python 软件源(国内常用的),可以这样设置: ``` pip install --index-url https://mirrors.aliyun.com/pypi/simple/ your_package_name ``` 2. **安装特定版本**: 如果你需要特定版本的包,可以在命令后面加上版本号: ``` pip install -i https://mirrors.aliyun.com/pypi/simple/ your_package_name==version_number ``` 3. **添加到 `.pyproject.toml` 或者 `requirements.txt`**: 将镜像源配置添加到你的项目文件,这样每次安装依赖时都会自动使用镜像源。例如,在 `requirements.txt` 文件: ``` -i https://mirrors.aliyun.com/pypi/simple/ package_name==version_number ``` 4. **使用 conda**: 如果你使用的是 Anaconda 或 Miniconda,可以修改 `conda config` 的 `channels` 设置,然后安装包: ```bash conda config --add channels https://mirrors.aliyun.com/anaconda/ conda install package_name ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaomu_347

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值