医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 - 牛津大学最新论文

医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 - 牛津大学最新论文

知识图谱科技 2024年08月10日 12:36 上海

Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation

Junde Wu&Jiayuan Zhu &Yunli Qi University of Oxford

arXiv:2408.04187v1 [cs.CV] 08 Aug 2024

摘要

我们引入了一种新型基于图的检索增强生成（RAG）框架，专门为医疗领域设计，称为MedGraphRAG，旨在增强大型语言模型（LLM）的能力并生成基于证据的结果，从而在处理私密医疗数据时提高安全性和可靠性。我们的综合流程首先采用混合静态语义方法进行文档分块，显著提高了上下文捕获能力，相较于传统方法。提取的实体被用于创建一个三层次的层次图结构，将实体与来自医学论文和字典的基础医学知识联系起来。这些实体随后相互连接形成元图，并根据语义相似性进行合并，以开发一个综合的全局图结构。该结构支持精确的信息检索和响应生成。检索过程采用U-retrieve方法，以平衡LLM的全球感知和索引效率。我们的方案通过一项全面的消融研究进行了验证，比较了文档分块、图构建和信息检索的各种方法。结果不仅表明我们的层次图构建方法在多个医学问答基准测试中持续优于最先进的模型，还确认生成的响应包含源文档，显著提高了医疗LLM在实际应用中的可靠性。

1简介

大型语言模型（LLMs）的快速发展，如OpenAI的ChatGPT和GPT-4，已经显著改变了自然语言处理的研究，并在日常场景中激发了众多AI应用。然而，这些模型在应用于需要专业知识的领域，如金融、法律和医学时，仍然面临局限性。主要有两个挑战：首先，将训练好的LLMs部署到特定用途上比较复杂，因为它们在处理极长的上下文时存在困难，且在专业数据集上微调大型模型的成本高昂或不切实际。其次，在医学等领域精确性至关重要，LLMs可能会产生幻觉——看似准确但导致错误结论的输出，这可能是危险的。此外，它们有时会提供过于简单的答案，而不提供新的见解或发现，这在要求高层次推理以得出正确答案的领域显得不足。

检索增强生成（RAG）是一种使用特定和私有数据集回答用户查询的技术，无需进一步训练模型。RAG最初设计用于需要在特定文本区域找到必要答案的情况，但有时在从通过共享属性链接的不同信息片段中合成新见解时显得力不从心。此外，它在需要整体理解大数据集或广泛文档中总结语义概念的任务中表现不佳。为了解决这些局限性，提出了图RAG方法。该方法利用LLMs从私有数据集中创建知识图谱，结合图机器学习，在查询处理过程中增强提示增强。GraphRAG展示了显著的改进，优于以前应用于私有数据集的方法，提供了更高的智能和信息合成能力。

在本文中，我们提出了一种新颖的图RAG方法，用于将LLMs应用于医疗领域，我们称之为医学图RAG（MedRAG）。该技术通过以有据可查的来源引用和清晰的医学术语解释来响应查询，从而提高LLM在医疗领域的表现，增强结果的透明性和可解释性。这种方法涉及三层层次化图构建方法。最初，我们使用用户提供的文档作为我们的顶层来源来提取实体。然后，这些实体与第二层更基本的实体相关联，这些实体之前是从可信的医学书籍和论文中抽象出来的。随后，这些实体连接到第三层——基本医学词典图，这些词典提供每个医学术语及其语义关系的详细解释。然后，我们通过基于内容和层次连接来构建最高层次的综合图。这种方法确保知识能够追溯到其来源，并且结果在事实上的准确性。

为了响应用户查询，我们实施了一种U检索策略，将自上而下的检索与自下而上的响应生成相结合。该过程首先使用预定义的医学标签结构化查询，并通过图谱以自上而下的方式对其进行索引。系统然后根据这些查询生成响应，从元图中提取节点及其TopK相关节点和关系，并将信息总结成详细的响应。这种技术在全球上下文意识和LLMs固有的上下文限制之间保持了平衡。

我们的医学图RAG提供了内在的源引用，可以增强LLM的透明性、可解释性和可验证性。结果提供了渊源或源基础信息，因为它生成每个响应，并表明答案是基于数据集的。每个陈述都有引用来源，使人类用户能够快速准确地将LLM的输出与原始来源材料直接核对。这在医学领域非常有用，因为安全性至关重要，所有推理都应该基于证据。通过使用这种方法，我们构建了一个基于证据的医学LLM，临床医生可以轻松检查推理的来源并校准模型响应，以确保LLMs在临床场景中的安全使用。

为了评估我们的医学GraphRAG，我们在几个流行的开放和闭源LLMs上实施了该方法，包括ChatGPT和LLaMA，在主流医学问答基准上进行测试，如PubMedQ