NLP基础系列
机器是如何“阅读理解”的?
2019 NLP模型集体超越人类?
对人工智能领域而言,刚刚过去的2019年,堪称NLP(自然语言处理)年。在这一年里,Bert,XLNet,GPT-2等NLP模型、工具大放异彩,竞相占据各大AI头条。
一众NLP模型虽然属于相互竞争的关系,但至少从媒体报道的角度来看,在阅读理解这件事情上,它们都已经战胜了一个共同的对手:人类。
早在2018年1月,微软亚洲研究院的R-NET在SQuAD 机器阅读理解挑战赛 (SQuAD machine reading comprehension challenge) 上达到EM:82.650的好成绩,超越同期人类表现。
2018年10月,Google AI基于BERT的混合模型,在SQuAD1.1数据集上,获得EM:87.433,F1:93.160分的历史最佳成绩,进一步超越同期人类表现。
2019年6月,同样是Google推出的XLNet在SQuAD等数据集上的成绩超越了Bert(就更不用说人类了)。
不过才一个月后,Facebook基于BERT开发的RoBERTa模型就在SQuAD等多个榜单上实现了反超XLNet的结果。
下图是今天:2020年1月10日SQuAD 2.0数据集的榜单。大家可以看到,从数据上看,这些模型都已经超越人类啦!