BERT模型调用源码分析

https://blog.csdn.net/wshzd/article/details/89639392
转

使用BERT的注意事项：需要自己下载BERT源码，然后把解压后的文件夹放到跟目录

使用BERT的目的是：为了获取最后的模型返回向量（就是4）步骤的输出）

使用BERT模型的步骤是：

1）首先加载并且恢复模型的配置参数、模型参数；

2）调用函数convert_single_example生成模型所需要的数据，其实就是input_ids、input_mask、segment_ids；

3）把第二步生成的三个List输入到modeling.BertModel中对应的参数位置input_ids、input_mask、token_type_ids；

4）最后根据NLP任务选择输出的方法是model.get_sequence_output()还是model.get_pooled_output()，其中model.get_sequence_output()的返回数据格式是[batch_size, seq_length, embedding_size]，使用使用seq2seq或者ner；而model.get_pooled_output()输出为

#!/usr/bin/python

-- coding:utf-8 --

import tensorflow as tf
from bert import modeling
from bert import tokenization
import os

一、加载BERT模型

这里是下载下来的bert配置文件

bert_config = modeling.BertConfig.from_json_file(“chinese_L-12_H-768_A-12/bert_config.json”)

创建bert的输入

input_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name=“input_ids”)
input_mask=tf.placeholder (shape=[64,128],dtype=tf.int32,name=“input_mask”)
segment_ids=tf.placeholder (shape=[64,128],dtype=tf.int32,name=“segment_ids”)

创建bert模型

model = modeling.BertModel(
config=bert_config,
is_training=True,
input_ids=input_ids,
input_mask=input_mask,
token_type_ids=segment_ids,
use_one_hot_embeddings=False # 这里如果使用TPU 设置为True，速度会快些。使用CPU 或GPU 设置为False ，速度会快些。
)

#bert模型参数初始化的地方
init_checkpoint = “chinese_L-12_H-768_A-12/bert_model.ckpt”
use_tpu = False

获取模型中所有的训练参数。

tvars = tf.trainable_variables()

加载BERT模型

(assignment_map, initialized_variable_names) = modeling.get_assignment_map_from_checkpoint(tvars,
init_checkpoint)

tf.train.init_from_checkpoint(init_checkpoint, assignment_map)

tf.logging.info("**** Trainable Variables ****")

打印加载模型的参数

for var in tvars:
init_string = “”
if var.name in initialized_variable_names:
init_string = “, INIT_FROM_CKPT”
tf.logging.info(" name = %s, shape = %s%s", var.name, var.shape,
init_string)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())

二、获取BERT模型的输出

output_layer = model.get_sequence_output()# 这个获取每个token的output 输出[batch_size, seq_length, embedding_size] 如果做seq2seq 或者ner 用这个

output_layer = model.get_pooled_output() # 这个获取句子的output

三、获取BERT模型的输入

def convert_single_example( max_seq_length,
tokenizer,text_a,text_b=None):
tokens_a = tokenizer.tokenize(text_a)
tokens_b = None
if text_b:
tokens_b = tokenizer.tokenize(text_b)# 这里主要是将中文分字
if tokens_b:
# 如果有第二个句子，那么两个句子的总长度要小于 max_seq_length - 3
# 因为要为句子补上[CLS], [SEP], [SEP]
_truncate_seq_pair(tokens_a, tokens_b, max_seq_length - 3)
else:
# 如果只有一个句子，只用在前后加上[CLS], [SEP] 所以句子长度要小于 max_seq_length - 3
if len(tokens_a) > max_seq_length - 2:
tokens_a = tokens_a[0:(max_seq_length - 2)]

转换成bert的输入，注意下面的type_ids 在源码中对应的是 segment_ids

(a) 两个句子:

tokens: [CLS] is this jack ##son ##ville ? [SEP] no it is not . [SEP]

type_ids: 0 0 0 0 0 0 0 0 1 1 1 1 1 1

(b) 单个句子:

tokens: [CLS] the dog is hairy . [SEP]

type_ids: 0 0 0 0 0 0 0

这里 “type_ids” 主要用于区分第一个第二个句子。

第一个句子为0，第二个句子是1。在预训练的时候会添加到单词的的向量中，但这个不是必须的

因为[SEP] 已经区分了第一个句子和第二个句子。但type_ids 会让学习变的简单

tokens = []
segment_ids = []
tokens.append("[CLS]")
segment_ids.append(0)
for token in tokens_a:
tokens.append(token)
segment_ids.append(0)
tokens.append("[SEP]")
segment_ids.append(0)
if tokens_b:
for token in tokens_b:
tokens.append(token)
segment_ids.append(1)
tokens.append("[SEP]")
segment_ids.append(1)
input_ids = tokenizer.convert_tokens_to_ids(tokens)# 将中文转换成ids

创建mask

input_mask = [1] * len(input_ids)

对于输入进行补0

while len(input_ids) < max_seq_length:
input_ids.append(0)
input_mask.append(0)
segment_ids.append(0)
assert len(input_ids) == max_seq_length
assert len(input_mask) == max_seq_length
assert len(segment_ids) == max_seq_length
return input_ids,input_mask,segment_ids # 对应的就是创建bert模型时候的input_ids,input_mask,segment_ids 参数

下面开始调用分词并且生成输入数据

vocab_file=“chinese_L-12_H-768_A-12/vocab.txt”
token = tokenization.FullTokenizer(vocab_file=vocab_file)
input_ids,input_mask,segment_ids = convert_single_example(100,token,“可以直接到编辑部买，地址，北京体育馆路8号，中国体育报业总社院内”)
print(input_ids)
print(input_mask)
print(segment_ids)