文章
深度学习解决机器阅读理解任务的研究进展 author: 张俊林
- 一直在关注的一位大佬,最开始准备入阅读理解的时候就找到了这篇文章,但是由于没有这方面的背景知识,看起来很难受,在看了三篇相关的论文后,重新回头看,收获颇多。
总结
- 看完才知道,memor network原来可以从推理的角度看结构,精彩,而且意识到了推理在阅读理解中的重要性。
- Stanford AR的匹配函数则采用了双线性(Bilinear)函数,效果也在同样的一维匹配中最好,是一个值得看看的结构。
- 看完才知道原来可以从二维匹配的角度看Impatient Reader,看论文的时候只是简单了解了结构。
- 很多模型变来变去,变得不过是attention的匹配规则。
- 二维匹配模型将问题由整体表达语义的一维结构转换成为按照问题中每个单词及其上下文的语义的二维结构,明确引入了更多细节信息,所以整体而言模型效果要稍优于一维匹配模型
- 记忆网络在拟合文档或者问题表示的时候是通过单词的Word Embedding简单叠加的方式,而AMRNN则是采用了RNN结构来推导文章和问题的表示。(当初看的时候就觉得为啥不套层神经网络)
- EpiReader是2016年10月之前机器阅读理解模型中效果最好的模型之一,既然最好,同样也可以看看,同样,可能他的结构不能归属于大佬总结的三种里,所以列为其他模型行列。
- 最后大佬做了些展望。
- 最最后,文章中提出了很多模型结构,有时间同样可以比较学习一波。