解决huggingface中模型无法自动下载或者下载过慢的问题

项目场景：

调用hugging face公开模型数据集中的transformers模型。

---

问题描述：

默认源在国内下载模型过慢，甚至不开始下载。

---

原因分析：

部分博客解决方案为：
在from_pretrained中添加参数mirror="tuna" 将下载源替换为清华源。

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased", mirror="tuna")

然而，清华源现在不支持hugging face的下载（2021.8月之后）。
因此，无论在conda替换源还是在代码中指定源为清华源都无效。

---

解决方案：

参考 https://blog.csdn.net/weixin_43646592/article/details/119520963

在hugging face官网上手动下载模型文件，而后上传到服务器上。具体如下：

• 1 搜索模型

• 2 下载文件
  

注意：一定要下载全，包括适用于框架的模型（tf为h5，pytorch为bin）、词表、模型配置文件、tokenizer配置文件、一些看起来无关紧要的txt文件。
无关紧要的txt文件一定不要忘记下载。

• 3 将上述下载的文件放在统一的文件夹中，命名为模型名，（例如：xlm-mlm-100-1280），上传至运行代码同一目录下。

• 4 继续使用代码调用

tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-100-1280")