2018机器阅读理解技术竞赛，奇点机智获第一名

长期以来，大家一直有这样的疑问：机器到底能不能真正理解人类？机器阅读理解的能力，能否超越人类？

2018年5月15日，由中国中文信息学会(CIPS)、中国计算机学会(CCF)和百度联手举办的“2018机器阅读理解技术竞赛”落下帷幕。奇点机智（Naturali）从国内外800多支报名队伍中脱颖而出，占据排行榜首，荣获第一名。本次竞赛颁奖活动将于7月28日在北京召开的第三届“语言与智能高峰论坛”上举行。

竞赛介绍及结果

旨在推动语言理解和人工智能领域技术和应用的发展，“2018机器阅读理解技术竞赛” 通过机器阅读文本，进而阅读理解并回答内容相关的问题，其中涉及到理解、推理、摘要等复杂技术，挑战了机器的极限。本次竞赛的数据集共包含来自百度搜索的30万真实用户问题，每个问题对应5个候选文档文本，题型包含实体类、判断类以及描述类，是目前为止最大、最具挑战性的中文阅读理解数据集。

本次比赛采用两个评价标准来对各队提交的结果进行评测。由人工标注的答案作为标准，系统自动依据两个不同的维度进行打分，较客观地保证了评分系统的公平性。奇点机智在两个不同维度中均取得了最优的成绩，分数远超第二、第三名。

目前看来，机器阅读理解虽然与人类有一定差距，但此次比赛中，冠军团队奇点机智的答案与人工标注的答案非常接近，甚至有些比人工答案更全面。在参赛之前，团队主要技术成员并未接触过机器阅读理解相关的工作，而主要研究机器学习以及语音识别，能在几个月时间内掌握新领域的核心技术并夺取冠军，非常难得。

本次竞赛就是对于中文长文本理解的挑战，而长时间以来，自然语言处理的研究都是基于句子级别的阅读理解，例如理解句子中的主谓宾、定状补，时间、地点、事件等等。然而，基于篇章的长文本理解一直是一个技术难题，涉及到更高难度的研究内容，例如句子之间的连贯、上下文、推理等等。

挑战难度最高的中文数据集

迄今为止，世界机器阅读理解领域经典赛事多集中在英文领域，比如由斯坦福大学发起的SQuAD挑战赛以及微软的MS MARCO机器阅读理解测试，而基于百度DuReader的2018机器阅读理解技术竞赛无疑将成为中文机器阅读理解领域的一大盛事。

SQuAD是斯坦福大学于2016年推出的阅读理解数据集，也是今年目前为止自然语言处理界最重量级的数据集。该数据集包含来自维基百科的536篇文章及共计十万多个问题。在阅读数据集内的文章后，机器需要回答若干与文章内容相关的问题，通过与人工标注的标准答案对比来获取得分。但是，此数据集的问题来源于维基百科而非用户的真是提问，所以问题结构简单、数据相对欠缺多样性、实用性较弱。

微软MARCO也应用在机器阅读理解领域，是由10万个问答和20万篇不重复的文档组成的数据集。相比SQuAD，其最大不同在于数据集中的问题来自微软自家必应搜索引擎，为用户真是提问，问题则更倾向真实的语言环境，需要智能体推理语境进行分析。MS MARCO的挑战难度更大，它需要测试者提交的模型具备理解复杂文档、回答复杂问题的能力。

DuReader是本次2018机器阅读理解大赛使用的数据集，是迄今为止最大的面向真实应用场景的中文阅读理解数据集。它包含来自百度搜索的30万个真实问题，每个问题对应5个候选文档文本，以及人工撰写的优质答案。此次竞赛的部分问题在百度搜索中并没有答案，问题的提问方式也相对模糊。比如：“响一声就说正在通话中”，用户仅仅描述了一个现象，而并不是一个完整的提问，这类问题则更具有挑战性和难度。

在此次比赛中，奇点机智基于公司储备的NLP工具，模型主要参考了经典阅读理解上的模型，根据数据集的特点做了一些改进，得到最终的模型。奇点机智团队尝试了很多经典的rc模型，比如bidaf, match-lstm, r-net，dcn等，最终的模型是基于bidaf的改进，尝试引入多个答案的信息。

机器阅读理解的意义与应用

在人工智能技术中，自然语言处理是重要一环，而机器阅读理解是自然语言处理中的技术关键点。自然语言处理技术在语音助手、机器翻译、智能搜索、智能推荐、智能客服、智能机器人等人工智能应用具有重要意义，都需要大量依靠于机器阅读理解来阅读真实问题、真实互联网材料，给出完整答案的AI能力。

例如在智能客服应用中，可以使用机器阅读用户手册等材料自动或辅助客服来回答用户的问题，教育领域可应用于从海量题库中辅助出题，以及在金融领域可从大量新闻文本中抽取相关金融信息等。

机器阅读理解可以为语音助手赋能，也为语音助手的应用奠定了坚实的技术基础。例如，当手机用户遇到问题时，通过语音对话的方式提出问题，语音助手便能迅速给出答案。随着手机语音助手的应用越来越广泛，手机搜索引擎和网络浏览器已经逐渐淡出大家的视线。

计算语言学协会（ACL， Association for Computational Linguistics）会士、前Google资深科学家及Google搜索问答创始人、奇点机智联合创始人兼CTO林德康表示：“机器阅读理解是自然语言处理领域中的研究焦点，能将这项技术落地应用到实际生活中是我们一直以来的目标。”