Hugging Face Model Hub 预训练模型清华镜像使用

今天遇到一个错误：

OSError: Couldn’t reach server at ‘https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-config.json’ to download configuration file or configuration file is not a valid JSON file. Please check network or file content here: /users/yqsun/.cache/torch/transformers/c22e0b5bbb7c0cb93a87a2ae01263ae715b4c18d692b1740ce72cacaa99ad184.2d28da311092e99a05f9ee17520204614d60b0bfdb32f8a75644df7737b6a748.lock.

解决办法：
1.model_name设为本地模型文件夹，比如：

model_name="/huggingface_transformers/roberta-large"
self.module = AutoModel.from_pretrained(model_name)

2.使用清华镜像：

使用方法
注意：transformers > 3.1.0 的版本支持下面的 mirror 选项。低版本是不支持的！！！！！！

只需在 from_pretrained 函数调用中添加 mirror 选项，如：

AutoModel.from_pretrained('bert-base-uncased', mirror='tuna')

目前内置的两个来源为 tuna 与 bfsu。此外，也可以显式提供镜像地址，如：

AutoModel.from_pretrained('bert-base-uncased', mirror='https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models')

参考：
https://mirrors.tuna.tsinghua.edu.cn/help/hugging-face-models/