Paper:(EMNLP2020) Is Graph Structure Necessary for Multi-hop Question Answering?
Link: https://www.aclweb.org/anthology/2020.emnlp-main.583/
今天推荐的论文来自科大讯飞和哈工大SCIR的联合出品,他们为我们提出一道思考题: 在Multi-hop QA中,图结构是必要的吗?
在当前进行Multi-hop QA的工作中,将实体、句子和段落建模为一个图结构,然后引入图网络来解决问题的方法得到了很高的关注。然而作者通过一些消融实验注意到,在引入了预训练语言模型的学习架构中,如果移除掉图结构似乎并没有对结果产生很大的影响。 基于这一发现,作者设计了一系列对比实验,最终得出以下两条结论:
-
恰当地使用预训练语言模型,图结构对于Multi-hop QA任务并不是必须的;
-
图注意力机制其实是一种特殊的self-attention,当图结构中的节点全连接时,图注意力就退化成一种普通的self-attention。图结构及其邻接矩阵,本质是提供了一种任务相关的先验知识;而即便没有提供这样的先验知识,模型仍旧有可能通过学习得到这样的知识;
-
图结构不是必须的,某些情况下,Transformer能够取得于非常具有可比性的实验效果。
如果想细致了解这些结论是如何得到的,请一定来读一读这篇论文: https://www.aclweb.org/anthology/2020.emnlp-main.583/
另外,小编在推荐一篇相关的阅读文章,这篇文章中同样对GAT与Transformer进行了一些讨论: 深入理解图注意力机制
了解更多深度学习相关知识与信息,请关注公众号深度学习的知识小屋