NLP总结（一文读懂BERT前因后果）

https://blog.csdn.net/jiaowoshouzi/article/details/89073944

转换成bert的输入，注意下面的type_ids 在源码中对应的是 segment_ids

(a) 两个句子:

tokens: [CLS] is this jack ##son ##ville ? [SEP] no it is not . [SEP]

type_ids: 0 0 0 0 0 0 0 0 1 1 1 1 1 1

(b) 单个句子:

tokens: [CLS] the dog is hairy . [SEP]

type_ids: 0 0 0 0 0 0 0

这里 “type_ids” 主要用于区分第一个第二个句子。

第一个句子为0，第二个句子是1。在预训练的时候会添加到单词的的向量中，但这个不是必须的

因为[SEP] 已经区分了第一个句子和第二个句子。但type_ids 会让学习变的简单