BERT模型的输出

• 0、概述

想要获取获取bert模型的输出非常简单，使用 model.get_sequence_output()和model.get_pooled_output() 两个方法，但这两种方法针对NLP的任务需要进行一个选择

• 1、output_layer = model.get_sequence_output()

这个获取每个token的output 输出[batch_size, seq_length, embedding_size] 如果做seq2seq 或者ner 用这个

• 2、output_layer = model.get_pooled_output()

这个输出 是获取句子的output

• 3、注意

bert模型对输入的句子有一个最大长度，对于中文模型，我看到的是512个字。
当我们用model.get_sequence_output()获取每个单词的词向量的时候注意，头尾是[CLS]和[SEP]的向量。做NER或seq2seq的时候需要注意。