访问国外官方源时,由于网络延迟和潜在的网络拥堵,可能会导致下载速度较慢,甚至下载失败。使用国内镜像源可以大幅度提高下载速度,并且由于地理位置的接近,网络稳定性也更高。另外,由于某些政策或网络审查的原因,直接访问国外官方源可能会受到限制或阻碍。国内镜像源可以作为一个替代方案,为用户提供更加顺畅的访问体验。
这里给出AI模型部署,在下载安装运行环境时常用的国内镜像资源:
Python镜像源:
- 清华镜像:
https://pypi.tuna.tsinghua.edu.cn/simple
- 中科大镜像:
https://pypi.mirrors.ustc.edu.cn/simple
- 豆瓣镜像:
http://pypi.douban.com/simple/
- 阿里镜像:
https://mirrors.aliyun.com/pypi/simple/
- 华中科大镜像:
http://pypi.hustunique.com/
使用这些镜像源时,可以通过pip命令指定镜像源地址,例如:
pip国内镜像(清华大学镜像)pip install torchvision -i
https://pypi.tuna.tsinghua.edu.cn/simple
Anaconda镜像源
Anaconda 安装包可以到 Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 下载
Miniconda 是一个 Anaconda 的轻量级替代,默认只包含了 python 和 conda,但是可以通过 pip 和 conda 来安装所需要的包。
Miniconda 安装包可以到 Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 下载。
其他:anaconda如何切换阿里镜像源
在Anaconda中切换到阿里云镜像源可以通过以下步骤进行:
1、打开终端(Windows)或者命令行界面(macOS/Linux)。
2、执行以下命令来配置阿里云镜像源:
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/free/
conda config --set show_channel_urls yes
3、如果你想要确认是否已经切换成功,可以查看.condarc文件或者执行以下命令:
conda config --show
github代码无法访问或下载较慢:
国内gitcode网站,已经收录了很多开源代码,建议可以在这里寻找试试。
比如:llama.cpp 下载,可以这样运行:
git clone git@github.com:ggerganov/llama.cpp.git llama
=> git clone https://gitcode.com/ggerganov/llama.cpp.git llama
git clone https://gitcode.com/ggerganov/llama.cpp.git
Huggingface国内镜像
由于不知名原因,现在下载huggingface的模型和数据集非常慢,甚至无法下载。https://hf-mirror.com
是一个非常好用的huggingface镜像,可以加速模型和数据集的下载。
例如:加载模型的代码main.py
:
import torch
from transformers import BertModel
model = BertModel.from_pretrained("bert-base-uncased")
如果没有提前下载好模型,也没有设置镜像和proxy
的话,直接运行python main.py
可能无法下载。这里我们推荐使用下面两种方式设置环境变量,从镜像站下载模型(任选其一即可):
- 永久环境变量设置
- 在
.bashrc
文件中添加一行:export HF_ENDPOINT=https://hf-mirror.com
- 执行
source .bashrc
- 重新运行
main.py
,即可下载、加载模型。
- 临时环境变量设置
在main.py
文件的最前面添加以下代码:
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
重新运行main.py
,即可下载、加载模型。
国内大模型开源社区资源
大模型开源社区在推动人工智能技术的发展和应用中扮演着重要的角色,开发者可以获取到最新的技术动态、算法优化和模型改进,从而加速自己的研发进程。
比如:魔搭 ModelScope模型库:魔搭社区
目前汇总的开源模型数量已在几百个以上,并且持续更新中。
国内的 Docker 镜像源
配置国内的 Docker 镜像源主要是为了提高下载镜像的速度和稳定性。Docker 默认的镜像源位于国外,由于网络传输距离较远,以及可能存在的国际网络限制,导致下载速度较慢,特别是在高峰期,下载大尺寸的镜像文件时容易出现超时问题。
通过将 Docker 的镜像源配置为国内的镜像站点,可以显著减少数据传输的延迟,从而加快镜像文件的下载速度。国内的镜像站点通常会定期同步 Docker Hub 上的镜像,确保镜像的新鲜度和完整性。
Docker国内镜像源:https://registry.docker-cn.com
中科大源:https://docker.mirrors.ustc.edu.cn
网易源:https://hub-mirror.c.163.com