阿里、NUS团队提出全新知识链框架，有效提升大语言模型的事实正确性-CSDN博客

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/136278431

阿里和NUS团队提出了一种名为知识链（CoK）的框架，旨在解决大型语言模型（LLMs）生成内容时缺乏事实真实性的难题。CoK通过动态整合异构知识源，减少了幻觉问题，提高了LLMs在知识型任务上的表现。该框架包括推理准备、动态知识适配和答案整合三个阶段，利用结构化和非结构化知识源，采用自适应查询生成器（AQG）进行多类型的查询。实验显示，CoK在常识、医学、物理和生物领域等多个任务上优于现有方法，尤其是在HotpotQA和FEVER数据集上表现出显著优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提要

大型语言模型（LLMs）逐渐成为自然语言处理（NLP）中的常态，并在生成和推理任务中展现出良好的性能。然而其最致命的缺点之一是生成的内容缺乏事实真实性。

解决该问题的一个常见的方向是检索增强生成（RAG）[1]。这些方法涉及将 LLMs 与检索系统结合起来，旨在利用外部事实知识指导生成过程。然而，现有的方法均有内在的局限性。

我们提出了知识链（CoK）框架，通过从异构知识源动态整合事实信息来增强 LLMs 生成内容的真实性。从而减少幻觉问题的出现。大量实验表明，CoK 在不同领域的知识型任务上一致提高了 LLMs 的表现。

论文标题：

Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources

收录会议：

ICLR 2024

论文链接：

https://openreview.net/pdf?id=cPgh4gWZlz

数据代码：

https://github.com/DAMO-NLP-SG/chain-of-knowledge

论文作者：

李星漩，赵若辰，谢耀赓，丁博生，邴立东等

问题定义

随着自然语言处理技术的发展，大模型（LLMs）开始大放异彩，在语言理解、生成、交互和推理方面表现出的非凡能力，广泛应用于对话、翻译、代码生成等领域。由于常用的大模型是基于解码器的概率生成模型，其生成过程中不可避免会发生事实性错误内容，因此，关于增强大模型生成内容的正确性已经成为自然语言处理领域中尤为重要的问题之一。

解决该问题的一个常见的方向是检索增强生成（RAG）。这些方法涉及将 LLMs 与检索系统结合起来，旨在利用外部事实知识指导生成过程。

然而，现有的方法均有内在的局限性。首先，它们对所有问题使用固定的知识源，这可能无法检索到专门和特定领域的知识。其次，在生成检索查询时，现有方法主要依赖于 LLMs，这些模型主要在自然语言句子上进行预训练，因此在生成像 SPARQL 这样的结构化查询时可能不够有效。第三，现有的检索增强方法缺乏逐步纠正能力，导致潜在的错误传播。

针对以上问题，我们提出了知识链（CoK）框架，通过从异构知识源动态整合信息来增强 LLMs。这导致了更加事实性的