Pytorch-Bert预训练模型的使用（调用transformers）

笔记摘抄

1. transformer资料

transformers（以前称为pytorch-transformers和pytorch-pretrained-bert）

• 提供用于自然语言理解（NLU）和自然语言生成（NLG）的BERT家族通用结构（BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet等），包含超过32种、涵盖100多种语言的预训练模型。

• 首先下载transformers包，pip install transformers

• 其次手动下载模型（直接from transformers import BertModel会从官方的s3数据库下载模型配置、参数等信息，在国内并不可用）

  • 下载bert-base-chinese的config.josn，vocab.txt，pytorch_model.bin三个文件后，放在bert-base-chinese文件夹下，此例中该文件夹放在F:/Transformer-Bert/下。

提前导包：

import numpy as np
import torch 
from transformers import BertTokenizer, BertConfig, BertForMaskedLM, BertForNextSentencePrediction
from transformers import BertModel

model_name = 'bert-base-chinese'
MODEL_PATH = 'F:/Transformer-Bert/bert-base-chinese/'

# a. 通过词典导入分词器
tokenizer = BertTokenizer.from_pretrained(model_name)
# b. 导入配置文件
model_config = BertConfig.from_pretrained(model_name)
# 修改配置
model_config.output_hidden_states = True
model_config.output_attentions = True
# 通过配置和路径导入模型
bert_model = BertModel.from_pretrained(MODEL_PATH, config = model_config)

利用分词器进行编码：

• e