Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering

最新推荐文章于 2024-11-07 14:12:51 发布

UnknownBody

最新推荐文章于 2024-11-07 14:12:51 发布

阅读量468

点赞数 1

分类专栏： Knowledge Graph 文章标签：语言模型知识图谱人工智能

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/132664998

版权

Knowledge Graph 同时被 2 个专栏收录

74 篇文章 10 订阅 ¥99.90 ¥299.90

订阅专栏

LLM 日更

828 篇文章 3 订阅

已下架不支持订阅

本文介绍了JointLK，一种结合语言模型和知识图谱进行常识问答的方法。通过LM和KG的交互融合，减少了两种信息源的语义差距，增强了联合推理能力。动态修剪模块能有效删除无关子图，提供精确证据。实验表明JointLK在CommonsenseQA和OpenBookQA上优于其他方法，尤其在复杂推理任务中表现出色，可应用于实体链接、KG补全和推荐系统等领域。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering》的翻译。

现有的用于常识性问答的KG增强模型主要集中于设计精细的图神经网络（GNN）来对知识图（KG）进行建模。然而，它们忽略了（i）对问题上下文表示和KG表示的有效融合和推理，以及（ii）在推理过程中从有噪声的KG中自动选择相关节点。在本文中，我们提出了一个新的模型JointLK，该模型通过LM和GNN的联合推理以及动态KGs修剪机制来解决上述限制。具体来说，JointLK通过一种新颖的密集双向注意力模块在LM和GNN之间进行联合推理，其中每个问题标记都参与到KG节点上，每个KG节点都参与到问题标记上，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用联合推理生成的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。