替代huggingface下载大模型的站点

0. 引入

huggingface是个好网站,大模型的下载都得靠他,但是网络问题一直是一言难尽,所以只好找找其他替代品。目前发现的代替网站如下,后续如有新发现,还会再来更新到这里。

1. aliendao

https://aliendao.cn/ 是一个能替代huggingface下载大模型(完整大模型,包括二进制文件和其他配置、代码)的网站,实测网速会比较慢,但好歹能用,而且托管了很多知名大模型,这就很不错了。

使用方法如下,以下载chatglm3-6b为例:

  1. 从网站首页下载 model_download.py
  2. 安装huggingface_hub:pip install huggingface_hub
  3. 运行这个命令,就能下载到大模型:python model_download.py --repo_id THUDM/chatglm3-6b

注意,下载到的模型,会放到运行python命令的dataroot/目录下

2. modelscope

ModelScope(https://www.modelscope.cn/ )是阿里推出的下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,其开发目标为让模型应用更简单。从这上面下载模型,和huggingface比较类似。注册后就能看到大模型的repo和下载方式,比如,以下载chatglm3-6b为例(实测这个下载速度很快):

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

3. hf-mirror

这个是Huggingface 镜像站:https://hf-mirror.com/,目前没有太多实测经验,不知道它收录模型的完整度怎么样。但是至少至少它已经收录了mixtral-8x7b:https://hf-mirror.com/someone13574/mixtral-8x7b-32kseqlen

4. AI快站

AI快站,https://aifasthub.com/,初步看模型收录的也比较全,很多主流模型也都有在这托管。提供所谓加速下载方式:“在AI快站,可以体验到高达4M/s的下载速度,大幅减少等待时间”。

### 如何在 Hugging Face 下载 DeepSeek 版本 R1 模型 为了高效且稳定地下载来自 Hugging Face 的大型模型,如 Deepseek-R1,可以采用命令行工具 `git-lfs` 和 Python 库 `transformers` 提供的方法来实现自动化下载过程[^1]。 #### 使用 Git LFS 方法 对于那些希望通过命令行操作的用户来说,安装 Git Large File Storage (LFS) 是一种有效的方式。通过这种方式可以直接克隆整个仓库至本地环境: ```bash git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1.git cd DeepSeek-R1 ``` 这种方法适用于希望获取项目全部文件结构的情况,并能确保获得完整的版本历史记录。 #### 利用 Transformers 库自动加载 另一种更为简便的办法是利用 Hugging Face 自家开发的 `transformers` 库,在 Python 中只需几行代码即可完成指定模型及其权重参数的下载工作: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/DeepSeek-R1" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) # 将模型保存到本地目录 save_directory = "./DeepSeek_R1_model/" tokenizer.save_pretrained(save_directory) model.save_pretrained(save_directory) ``` 上述脚本不仅能够下载最新的可用版本,还可以根据需求调整变量 `model_name` 来指向不同分支或标签下的具体版本号,从而精确控制所要下载的目标版本[^3]。 #### 注意事项 当涉及到非常庞大的预训练模型时,网络状况可能会显著影响下载速度甚至成功率;因此建议在网络条件较好的时候执行这些操作。另外需要注意的是,某些地区可能因为网络策略的原因而难以直接访问 Hugging Face 官方服务器,此时可考虑寻找可靠的镜像站点作为替代方案。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值