【LLM之RAG】GraphRAG论文阅读笔记

最新推荐文章于 2024-09-08 10:45:00 发布

六神就是我

最新推荐文章于 2024-09-08 10:45:00 发布

阅读量1.1k

点赞数 16

分类专栏： LLM 文章标签：论文阅读笔记 rag kg

本文链接：https://blog.csdn.net/sinat_33455447/article/details/141197878

版权

LLM 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

研究背景

本文探讨了大型语言模型（LLM）如何通过从外部知识源检索相关信息来回答关于私有或之前未见过的文档集合的问题。特别指出，传统的检索增强生成（RAG）系统在处理全局问题时存在局限性，例如问整个文本语料库的主题是什么，因为这些问题本质上是查询焦点的摘要（QFS）任务，而不仅仅是一个显式的检索任务。

研究目标

论文的目标是结合RAG和传统QFS方法的优势，提出一种图RAG方法，用于处理私有文本语料库上的问题回答。该方法旨在扩展用户问题的普遍性和需要索引的源文本数量。

方法论

数据处理

本研究首先从源文档中提取文本块，然后使用LLM的提示来识别和提取图索引的各种元素，包括实体和它们的关系。这些文本块被进一步处理以识别图节点和边缘的实例。
比如源代码中抽取实体和关系的prompt如下：

-目标-
给定一个可能与此活动相关的文本文档和实体类型列表，从文本中识别出这些类型的所有实体以及已识别实体之间的所有关系。

-步骤-
1. 识别所有实体。对于每个已识别的实体，提取以下信息：
- 实体名称：实体名称，大写
- 实体类型：以下类型之一：[{entity_types}]
- 实体描述：实体属性和活动的全面描述
格式化每个实体，在开头和结尾处添加括号，例如 ("entity"{{tuple_delimiter}}{{tuple_delimiter}}{{tuple_delimiter}}{{tuple_delimiter}}{entity_description>)
例如：("entity"{{tuple_delimiter}}"Microsoft"{{tuple_delimiter}}"organization"{{tuple_delimiter}}"Microsoft is a technology company")

2. 从在步骤 1 中确定的实体，确定所有 *明显相关* 的 (source_entity, target_entity) 对。
对于每对相关实体，提取以下信息：
- source_entity：步骤 1 中确定的源实体的名称
- target_entity：步骤 1 中确定的目标实体的名称
- relationship_description：解释您认为源实体和目标实体相互关联的原因
- relationship_strength：1 到 10 之间的整数分数，表示源实体和目标实体之间关系的强度
格式化每个关系，在开头和结尾处添加括号，例如 ("relationship"{{tuple_delimiter}}{{tuple_delimiter}}{{target_entity>{{tuple_delimiter}}{{tuple_delimiter}}{{relationship_description>}{{tuple_delimiter}}{{relationship_strength>)
例如： ("关系"{{tuple_delimiter}}"公司 A"{{tuple_delimiter}}"人员 A"{{tuple_delimiter}}"公司 A 目前归人员 A 所有"{{tuple_delimiter}}8)

3. 以 {language} 形式返回输出，作为步骤 1 和 2 中确定的所有实体和关系的单个列表。使用 **{{record_delimiter}}** 作为列表分隔符。如果您必须翻译，只需翻译描述，无需其他内容！

4. 完成后，输出 {{completion_delimiter}}。

-真实数据-
######################
entity_types：{entity_types}
text：{input_text}
######################
output：

解决方案

Graph RAG 的全局方法，结合了知识图谱生成，检索增强生成 (RAG) 和以查询为中心的摘要 (QFS)，以支持人类在整个文本语料库上进行语义建构。

其工作的pipline如下：
在这里插入图片描述
（1）源文档到文本块：文档被分割成更小的文本块，这一步骤关键在于确定分割的粒度。这些文本块将被用作后续步骤中图节点和边缘的基础。
（2）文本块到元素实例：使用多部分LLM提示从每个文本块中识别和提取图节点和边缘的实例。这些实例将作为图索引的基础元素，包括实体及其关系。
（3）元素实例到元素摘要：将元素实例转换为描述性文本块，这一步骤依赖于LLM的摘要能力，将文本块转化为可以独立表达的概念。
（4）元素摘要到图社区：构建的图索引被模型化为一个由节点和边缘构成的加权无向图。使用社区检测算法如Leiden算法，将图分割成模块化的社区，每个社区包含密切相关的节点。
（5）图社区到社区摘要：每个社区都生成一份摘要报告，这些摘要在解答全局查询时极为关键，它们提供了数据集的全局结构和语义理解。
（6）社区摘要到社区回答再到全局回答：根据用户的查询，使用社区摘要生成最终答案。这一多阶段过程涉及将社区摘要随机化分块，并对每个块生成中间回答，最后将所有相关的部分回答汇总成一个全局回答。

实验

实验设计

数据集：从两个真实世界数据集（播客记录和新闻文章）描述中使用LLM生成了多样化的活动中心感知问题集。数据集信息如下：

数据	描述
Podcast transcripts	来自微软首席技术官Kevin Scott与其他技术领导者之间的播客对话。
News articles	从2013年9月到2023年12月发布的新闻文章，涵盖娱乐、商业、体育、科技、健康和科学等多个类别。

查询生成：使用一个以活动为中心的方法来自动生成这样的问题：给定一个简短的数据集的描述，我们要求LLM识别N个潜在用户和N个不同的任务，然后对于每个（用户、任务）组合，我们要求LLM生成N个问题，需要理解整个语料库。对于我们的评估，N = 5的值导致每个数据集有125个测试问题。

评估指标：

综合性（Comprehensiveness）：这个指标衡量回答是否全面覆盖了查询的所有方面。综合性高的回答能够详细解释问题的各个组成部分，提供完整的信息和背景。
多样性（Diversity）：多样性指标评估回答中观点和信息的丰富程度。一个多样化的回答将展示多种观点，涵盖广泛的相关话题和不同的解释方式。
赋能性（Empowerment）：赋能性衡量回答在多大程度上帮助用户理解问题背景，并对相关话题做出明智的判断。高赋能性的回答提供深入分析，使用户能够根据所提供的信息采取行动或做出决策。
直接性（Directness）：直接性指标评估回答是否直接且精确地针对用户的查询。高直接性的回答避免了不必要的绕弯子，直接解决用户的疑问。

实验结论

结果显示，Graph RAG在综合性和多样性方面均优于朴素RAG基线，并且在这些度量上也优于全局文本总结方法。Graph RAG在处理大规模文本集时展现了其高效性和优越性。
在这里插入图片描述
局限性：当前评估只涉及特定类型的问题和两个100万字节的数据集。此外，尚有一些细化方法和扩展场景在未来可以进一步探索。