本文参考了陈丹琦博士的毕业论文《Neural Reading Comprehension and Beyond》以及国防科技大的神经机器阅读理解综述《Neural Machine Reading Comprehension: Methods and Trends》,便于了解神经阅读理解的背景知识、基于深度网络的阅读理解模型和未来的研究趋势。
1、背景知识
机器阅读理解是指让机器根据给定的文本回答与文本相关的问题,来衡量机器对自然语言的理解能力。由于过去的数据集规模较小,多采用基于规则的传统方法,因此机器阅读理解系统发展受限,不能满足需求。后来随着深度学习的发展,学者们提出了神经阅读理解模型,即利用深度学习完成机器阅读理解任务,相比于传统的机器阅读理解,这类方法更擅长挖掘文本的上下文语义信息,模型效果显著提升。
2、模型
机器阅读理解模型一般由四个模块组成,分别是嵌入编码(Embeddings)、特征提取(Feature Extraction)、文章-问题交互(Context-Question Interaction)和答案预测(Answer Prediction)。
机器阅读理解模型图
嵌入编码:将模型的输入(自然语言形式的文章和问题)编码成固定维度的向量,方便计算机后续处理。
特征提取:接收由嵌入编码层编码得到的文章和问题的词向量表示,对其进行处理,抽取更多的上下文信息。常用于这一模块中的神经网络模型有循环神经网络(RNN)、卷积神经网络(CN