已有工作
KAM-CoT: 利用知识图谱进行知识增强的多模态链式推理(AAAI2024)
KAM-CoT框架采用了一个两阶段的输出过程:
-
第一阶段:生成推理(Rationale Generation),该阶段的目标是生成一个推理过程,帮助理解问题到答案的逻辑步骤。输入包括文本、图像和图特征,这些通过各自的编码器进行处理。然后,模型通过交叉注意力机制整合这些信息,最终通过Transformer解码器生成推理过程的文本。 问题 => 答案 给出 推理文本
-
第二阶段:答案识别(Answer Identification)。在此阶段,模型会使用第一阶段生成的推理过程作为额外的输入,来选择或生成正确的答案。具体而言,模型将第一阶段生成的推理文本与原始问题、上下文和答案选项一起作为输入。在这个过程中,模型会重复第一阶段的编码、交互和融合步骤,但这次会包含推理文本作为输入的一部分。最后,模型基于扩展的输入和融合的特征表示,使用Transformer解码器再次生成或选择正确的答案,并输出最终结果,该结果还会包含相应的解释或推理过程。 推理文本 + 原始问题 + 上下文 + 候选实体 = 输入 ==》 最终结果
CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering
从知识图谱中检索与问题相关的子图,然后使用CoTKR将其转化为上下文知识。这种上下文知识以及问题本身,促使问答模型生成答案。这一框架的核心是知识改写器。
简而言之,它交替执行以下两种操作:
推理:分解问题并基于生成的知识表示形式生成推理轨迹,指出当前步骤所需的具体知识。
总结:基于当前的推理轨迹总结相关的知识。