AI人工智能 企业应用中大语言模型LLM如何使用知识图谱KG？

    在企业应用中，LLM如何使用知识图谱？可以给出一个非常简单而准确的答案：LLM使用知识图谱就像发动机使用喷油器一样，知识图谱为LLM提供数据（燃料），LLM则充当人类辅助洞察力引擎的一部分。

    为了让生成式人工智能真正在企业中发挥作用，必须解决两个关键问题：一是在生成式 AI 生命周期的所有阶段提供可信、可靠且准确的企业数据流，二是控制LLM产生幻觉的倾向。

支持生成式人工智能的数据管理生命周期

    知识图谱应该具有虚拟化和整合企业内任何数据源来创建统一知识架构的独特能力，是为LLM提供训练数据集的理想方式。知识图谱中的数据是上下文化的并使用特定业务术语，这对LLM来说是非常重要，因为知识图谱中业务对象和关系的表示更接近人们思考和谈论业务的方式。

    知识图谱通过对及时、准确且可信企业数据源的情境化访问，为LLM企业数据管理生命周期的每个阶段做出贡献：

    ·发现： 知识图谱可以创建统一的企业元数据图谱，来帮助识别与LLM模型相关的数据源。知识图谱还可以通过提供数据相关性、数据完整性、数据一致性和数据新鲜度等指标来评估数据质量。例如，如果一个组织有兴趣开发用于客户服务的 LLM 模型，知识图谱可用于识别包含客户信息的所有数据源，例如客户支持单、客户调查和产品评论等。

    ·准备： 知识图谱通过提供一种连接和合并来自不同来源数据的方法，帮助创建将用于LLM的训练数据集。例如，如果一个组织有兴趣开发用于产品推荐的 LLM 模型，则可以使用知识图谱连接来自产品目录、客户购买历史记录和客户评论的数据，来创建训练数据集。

    ·训练：LLM的初始培训阶段涉及使用非常大的文本语料库，通常约为万亿个标记。这是耗时且非常昂贵的，但企业应用LLM时不必从头开始训练模型，有许多开源基础LLM可以提供很好的起点。

    ·微调：在企业LLM中更新训练模型的主要方法是使用新数据对其进行微调，而知识图谱连接非结构化、半结构化和结构化数据的能力使其成为将所有数据的汇聚中心，并接入微调过程。

   ·提示：即使是经过微调的 LLM 也可能没有所有最新数据，因此知识图谱还可用于检索与用户请求相关的最新数据，并将该上下文包含到提示中传递给LLM。通常，向量数据库用于确定相关内容，但仅仅向量数据库本身是不够的，因为它并不具有知识图谱提供的元数据。如果 LLM 模型未生成所需的输出，知识图谱可以通过查询图谱数据以获得不同的上下文和背景信息来重新生成提示。

    总结来说，知识图谱为所有企业数据提供可查询的数据结构，它可以使 LLM 的企业数据管理生命周期更加高效并具有可扩展性。

用知识控制幻觉

    LLM面临的明显挑战之一是幻觉问题。LLM的回应尽管言辞自信，但可能完全是捏造的。知识图谱通过提供可能跨越整个企业事实知识的结构化表示来解决这个问题。LLM可以利用它来核查信息、对照图谱交叉引用内容，并为用户提供更可靠的答案。

    比如，检索增强生成（RAG）已经成为可信文本生成的典型范例，其中LLM模型首先从大型数据集（实际上通常是向量数据库）检索相关信息，然后使用该信息进行生成。它是检索模型和生成模型的结合。而知识图谱和LLM的融合则通过三种方式控制幻觉：

    1.生成后验证：生成文本后，使用知识图谱来验证文本中的信息，这样可以识别幻觉现象。

    2.直接查询：在文本生成过程中，模型可以查询知识图谱以获取生成时使用的特定信息，这可以直接为模型提供准确的信息来帮助防止幻觉。

    3.训练增强：在 RAG 模型的训练过程中可以使用知识图谱来训练它，避免某些类型的幻觉，这就要求在训练期间使用知识图谱作为“基本事实”来源。

    由于企业内部使用的LLM没有关于企业专有数据世界的信息，通过将知识图谱和LLM 有效融合，将可以取得将LLM、向量数据库直接与数据湖或数据仓库集成的效果。

LLM必须及时获得数据

    即使大型企业使用私有数据从头开始训练 LLM 模型，训练工作量、成本和时间也使得企业 LLM 往往会在它们训练完成后就有可能过时了。因此，知识图谱在填补LLM可能知道的知识与自上次LLM更新以来企业生成的新数据之间差距方面发挥着关键作用。

    我们可以通过融合LLM和知识图谱来克服数据实时性问题，就像幻觉问题一样。典型的 RAG 应用程序仅使用向量数据库来检索用户输入的相关信息，并将附加上下文包含在发送给 LLM 的提示中。然而，向量数据库不包含元数据或相关企业背景信息，并且它们不能提供超出语义相似性的搜索功能。用知识图谱补充向量数据库可以检索更丰富、更准确、更及时的上下文，并将其包含在提示中。

    然而，RAG 方法存在的缺陷，使其不适合作为高质量的长期解决方案。首先，初始上下文检索结果对LLM最终答复质量有着巨大影响。如果向量数据库或知识图谱无法识别与问题相关的文档，那么无论LLM多么强大，结果都将不完整或不正确。

   此外， LLM 的上下文窗口有一个限制，通常为 2K 到 64K 令牌。即使这些限制量会增加，同样的是企业数据量也在不断增加，这意味着我们不能总是通过提示提供所有相关上下文。即使我们相信上下文窗口提示方法，增加上下文窗口大小同时也会增加响应时间，从而有可能使整个方法变得不可行。

    所以带有提示的 RAG 是有效的，但它不会总是有效，这时用企业数据增强LLM的 RAG 的替代方案是微调。微调需要基础LLM模型，它已经拥有有关世界的一般知识，调整模型中的权重以编码新的知识。 正如任何其他机器学习任务一样，训练数据集的质量和广度对于微调至关重要。这就是为什么知识图谱是 LLM 数据管理生命周期的重要组成部分：它们提供了一种收集、组织和更新结构化、半结构化和非结构化企业数据的机制。

集成知识图谱和向量数据库的生成式人工智能架构

    总之，企业级知识图谱可让在企业完整数据环境中构建一个互联视图，用于训练、提示和微调LLM；以 RAG 风格的方法为用户问题提供上下文；并根据实际数据验证LLM计算的结果。企业生成式人工智能架构需要构建知识图谱和 LLM 之间的编排引擎，来控制这些组件之间的信息流。