通过huggingface快速加载
import transformers
from transformers import BertTokenizer,BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') #只需要huggingface上对应的模型名称
model = BertModel.from_pretrained('bert-base-chinese')
优点:无脑操作
缺点:每次都需要在网站下载模型参数,用服务器下载有时会特别慢
下载好的模型本地加载
from transformers import BertTokenizer,BertModel
tokenizer = BertTokenizer.from_pretraines('./bert-base-chinese/vocab.txt')
model = BertModel.from_pretrained('./bert-base-chinese')
1.将下载下来的config.json,vocab.txt,pytorch_model.bin文件放在bert-base-chinses文件夹
2.BertTokenizer调用vocab文件,BertModel调用存放bin文件的目录即可