1. 什么是BRET?
BERT(Bidirectional Encoder Representation from Transformers,基于变压器的双向编码器表示),是一个深度双向表示预训练模型,能够更深层次地提取文本的语义信息。
2. BERT的特点
①双向Transforms
当前在NLP领域,Word2vec是使用最广泛的词向量训练工具。但 Word2vec是通过窗口进行工作的,所“学习”到的语义信息受制于窗口大小。
因此有学者提出利用可以获取长距离依赖的 LSTM语言模型预训练词向量。LSTM模型根据句子的上文信息来预测下文,或者根据下文来预测上文,只学习到了单向的信息。
Peters等提出了ELMo,这是一种双层双向的LSTM结构,其训练的语言模型可以学习到句子左右两边的上下文信息,在一定程度上解决了模型只能学习单向信息的问题。
此外,Radford等提出了GPT,利用 Transformers的编码器作为语言模型进行预训练,下游的NLP任务在其基础上进行微调即可。与LSTM相比,GPT语言模型的优点是可以获得句子上下文更远距离的语言信息,但也是单向的。
为了充分利用左右两侧的上下文信息,Jacob等提出了BERT模型。下图是预训练模型结构对比。
GPT只是一个从左到右,ELMo虽然有考虑从左到