NLP 高引论文解读两篇 | BERT模型、SQuAD数据集

本文是对两篇近年来自然语言处理（NLP）领域高引论文的解读。

 

1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

作者：Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova（Google AI）

论文出处：Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies

点此获取“论文地址”

研究问题

文章介绍一种新的语言表示模型BERT（Bidirectional Encoder Representations fromTransformers），通过联合上下文信息从未标记文本中预训练深层双向表示形式，只需一个额外的输出层，就可以对预训练模型进行调整，在不需要对特定任务的体系结构进行大量修改的前提下