【每日一读】EMNLP2020: 一道思考题，图结构对Multi-hop QA是必要的吗？

Paper:(EMNLP2020) Is Graph Structure Necessary for Multi-hop Question Answering?
Link: https://www.aclweb.org/anthology/2020.emnlp-main.583/

今天推荐的论文来自科大讯飞和哈工大SCIR的联合出品，他们为我们提出一道思考题: 在Multi-hop QA中，图结构是必要的吗？

在当前进行Multi-hop QA的工作中，将实体、句子和段落建模为一个图结构，然后引入图网络来解决问题的方法得到了很高的关注。然而作者通过一些消融实验注意到，在引入了预训练语言模型的学习架构中，如果移除掉图结构似乎并没有对结果产生很大的影响。 基于这一发现，作者设计了一系列对比实验，最终得出以下两条结论:

• 恰当地使用预训练语言模型，图结构对于Multi-hop QA任务并不是必须的；

• 图注意力机制其实是一种特殊的self-attention，当图结构中的节点全连接时，图注意力就退化成一种普通的self-attention。图结构及其邻接矩阵，本质是提供了一种任务相关的先验知识；而即便没有提供这样的先验知识，模型仍旧有可能通过学习得到这样的知识；

• 图结构不是必须的，某些情况下，Transformer能够取得于非常具有可比性的实验效果。

如果想细致了解这些结论是如何得到的，请一定来读一读这篇论文: https://www.aclweb.org/anthology/2020.emnlp-main.583/

另外，小编在推荐一篇相关的阅读文章，这篇文章中同样对GAT与Transformer进行了一些讨论: 深入理解图注意力机制

---

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋