本文为预训练语言模型专题系列第五篇
前期回顾:[萌芽时代]、[风起云涌]、[文本分类通用技巧] 、[GPT家族]
感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理,我们将沿此脉络前行,探索预训练语言模型的前沿技术,红色框为前期脚印,绿色框为本期介绍,欢迎大家留言讨论交流。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)
本期将要介绍的就是在NLP领域无人不知,无人不晓的预训练语言模型BERT了,由Google AI在2018年底推出,刚出现就刷新了一大批榜单,甚至在一些任务上超过了人类的表现,令人惊艳。谷歌团队成员Thang Luong在推特上表示,BERT模型开启了NLP的新时代。就其效果、易用性、通用性各方面来说,在当时不愧称为预训练语言模型的王者,压服众多的模型。让我们花十分钟一起,跟着论文来体会BERT的设计思路和重点。
文章在一开始概括了当时的两种不同的预训练语言模型的策略,feature-based 策略及 fine-tuni