机器是如何“阅读理解”的？| NLP基础

NLP基础系列

    1. 浅论语言与认知的关系

    2. 为什么要处理自然语言

    3. 计算机是如何理解自然语言的

    4. 文本标注十要点

    5. 把自然语言文本转换为向量

    6.句子相似度的计算

---

---

机器是如何“阅读理解”的？

2019 NLP模型集体超越人类？

对人工智能领域而言，刚刚过去的2019年，堪称NLP（自然语言处理）年。在这一年里，Bert，XLNet，GPT-2等NLP模型、工具大放异彩，竞相占据各大AI头条。

一众NLP模型虽然属于相互竞争的关系，但至少从媒体报道的角度来看，在阅读理解这件事情上，它们都已经战胜了一个共同的对手：人类。

早在2018年1月，微软亚洲研究院的R-NET在SQuAD 机器阅读理解挑战赛 （SQuAD machine reading comprehension challenge） 上达到EM：82.650的好成绩，超越同期人类表现。

2018年10月，Google AI基于BERT的混合模型，在SQuAD1.1数据集上，获得EM：87.433，F1：93.160分的历史最佳成绩，进一步超越同期人类表现。

2019年6月，同样是Google推出的XLNet在SQuAD等数据集上的成绩超越了Bert（就更不用说人类了）。

不过才一个月后，Facebook基于BERT开发的RoBERTa模型就在SQuAD等多个榜单上实现了反超XLNet的结果。

下图是今天：2020年1月10日SQuAD 2.0数据集的榜单。大家可以看到，从数据上看，这些模型都已经超越人类啦！