机器阅读理解技术初探&Bi-DAF

推一下个人技术微信公众号：浪漫主义AI
说起阅读理解，大家应该很快都会想到英语试卷上的阅读理解题，根据试卷上给出的文章中表现的信息回答若干个问题，这种题需要学生能读懂英文文章，从中提取与问题有关的关键信息，选择与文章信息最为匹配的选项。
机器阅读理解与之颇为相似。
机器做阅读理解，也需要掌握（并不是理解）给定文章或段落中的信息。我们是要将英文映射到中文（或许有人是映射到实体世界？），而机器将自然语言映射到机器码（目前来说几乎全是向量），按某种方式完成与文章或段落的若干问题。
目前，机器阅读理解主要完成两类问题：完形填空和文本段选择。完形填空任务与英语试卷上的完形填空略有不同，往往是给出完整的一段文字，让机器阅读后再填上相关语句上的实体词空位，其难度较低，已经能做得比较好。而文本段选择问题是目前的热点，这种任务是要根据问题在文章或者若干选项中选择一段文字，最开始是斯坦福提出的SQuAD数据集，逻辑简单，限定范围较小，没有什么实用价值，而目前已经出现了很多难度更大、更贴近真实情况的数据集。
而现在，有出现了新的题型。在百度开放的dureader数据集中，采用百度搜索和百度知道上的真实用户问答数据，不仅有之前最常出现的实体描述问题，还有很多没有事实标准的建议性问题，使得难度又提高了，也更接近真实语境了。
那么，机器要如何才能做到阅读理解呢？
如果是在狭窄领域或者特定语境下的问题，可以采用基于规则的方法，直接解析语句获取答案，但是这显然适用范围太小，人工成本太高，所以人们关注的大多是端到端的模型。目前较为先进的模型一般都由这几部分构成：
1）文本和问题的encoding过程。包括自然语言到向量表示的embeding过程和从词向量到文章信息向量和问题信息向量的过程（当然，也可能不是用向量表示，而是矩阵等），是一个从文本上提取信息的过程。
2）根据encoding层提取的文章信息和问题信息进行信息匹配，挖掘出文本中的那些内容与问题相关，哪些更重要。
3）生成答案，一般都是生成多种答案，然后对每种答案计