解决Huggingface被墙下载模型的问题

最新推荐文章于 2025-03-26 22:40:23 发布

QHG7C0

最新推荐文章于 2025-03-26 22:40:23 发布

阅读量9.7k

点赞数 23

文章标签： python

本文链接：https://blog.csdn.net/weixin_43303286/article/details/134342476

版权

本文介绍了在Huggingface服务不可用时，如何通过HuggingfaceCLI工具下载FacebookBART模型并设置本地存储路径，以简化模型管理和加载过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：

如何快速下载huggingface模型——全方法总结 - padeoe的文章 - 知乎

和：

最近几月huggingface彻底无法访问，之前下载模型都是开梯子自己下载到本地再上传到服务器，这样实在比较麻烦，因此查资料之后得到解决方案：使用huggingface镜像站

Huggingface CLI

huggingface cli是hf官方的下载工具，使用pip安装：

pip install -U huggingface_hub

安装好之后引入环境变量：

export HF_ENDPOINT=https://hf-mirror.com

(只在当前终端生效，如果想长期生效改source文件）

然后就可以下载模型，这里下载的是facebook/bart-base，这里记住前面的facebook一定不要漏：

huggingface-cli download --resume-download facebook/bart-base --local-dir /home/mguo/models/bart-base

后面的–local-dir就是指定下载路径（默认的在.~/cache/huggingface/hub 中）

为了统一管理，我就下载到统一的路径了，这样加载模型从本地加载：

model_path = '/home/mguo/models/bart-base'
tokenizer = AutoTokenizer.from_pretrained(model_path, cache_dir=cache_dir)