Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

本文是LLM系列文章，针对《JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering》的翻译。

现有的用于常识性问答的KG增强模型主要集中于设计精细的图神经网络（GNN）来对知识图（KG）进行建模。然而，它们忽略了（i）对问题上下文表示和KG表示的有效融合和推理，以及（ii）在推理过程中从有噪声的KG中自动选择相关节点。在本文中，我们提出了一个新的模型JointLK，该模型通过LM和GNN的联合推理以及动态KGs修剪机制来解决上述限制。具体来说，JointLK通过一种新颖的密集双向注意力模块在LM和GNN之间进行联合推理，其中每个问题标记都参与到KG节点上，每个KG节点都参与到问题标记上，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用联合推理生成的注意力权重递归地修剪不相关的