hugging face预训练模型本地读取指南

使用Hugging Face的Transformers库来下载预训练模型bert模型时。以下是下载和使用该模型的示例代码：

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')

这将自动下载预训练模型bert-base-chinese并创建一个BertTokenizer和BertModel对象，您可以使用它们来进行文本编码和模型推理。

这一切的前提，建立在开发机是可以联网的

当机器无法联网时，读取预训练模型会失败，此时需要我们在能上网的地方下载模型文件，上传开发机。然后从本地缓存中加载模型。

方法如下

首先进入hugging face，找到自己想要下载的模型，点击下载对应的文件。针对pytorch模型，需要下载以下文件，下载后新建一个文件夹bert-base-chinese，将这些文件放入，一并上传开发机。

image.png

修改读取预训练模型代码如下，即可正常运行。

config = BertConfig.from_json_file("bert-base-chinese/config.json")
model = BertModel.from_pretrained("bert-base-chinese/pytorch_model.bin", config=config)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese/') ##注意此处为本地文件夹