文章目录
StructBert
StructBert: Incorporating Language Structures Into Pre-Training For Deep Language Understanding(Alibaba 2019)
基于bert的预训练模型,从预训练任务的角度修改bert
保留WordPiece, absolute positional encoding 等bert相关特性
贡献:
- 将两个新型的预训练任务加入bert原始预训练任务
- 去掉NSP任务
成果:GLUE top 1
Word Structural Objective
输入一个句子中打乱的单词,好的语言模型可以学习到正确的顺