Agentic-RAG和GraphRAG双轮驱动，基于NCCN肿瘤医学指南开发用于个性化无幻觉乳腺癌治疗

本文链接：https://blog.csdn.net/m0_59164304/article/details/146520412

摘要

癌症治疗需要根据患者的临床状况、病史和循证指南采取个性化方法。美国国家综合癌症网络（NCCN）通过流程图、图表等可视化形式提供经常更新的复杂指南，这对于肿瘤学家及时了解治疗方案可能会耗费大量时间。本研究提出了一种由人工智能驱动的方法，以准确自动遵循NCCN指南为乳腺癌患者制定治疗方案。

我们提出了两种由人工智能驱动的方法：GraphRAG（图谱检索增强生成）和

Agentic-RAG代理式检索增强生成，采用三步大型语言模型（LLM）流程，从NCCN指南中选择临床标题，检索匹配的JSON内容，并根据不足检查迭代完善建议。图式检索增强生成遵循微软开发的框架，使用专有提示，通过LLM将JSON数据转换为文本，进行总结，并映射成代表关键治疗关系的图形结构。最终建议是通过查询相关图形摘要生成的。两者均使用一组患者描述进行评价，每个描述有四个相关问题。

如表1所示，代理式检索增强生成实现了100%的遵循率（24/24），没有出现幻觉或错误治疗。GraphRAG的依从性为95.8%（23/24），有1次错误治疗，没有出现幻觉。Agentic-RAG的依从性为91.6%（22/24），有2次错误治疗，也没有出现幻觉。Agentic-RAG和GraphRAG都提供了详细的治疗建议，并准确引用了相关NCCN文档的页码。

https://arxiv.org/abs/2502.15698

核心速览

研究背景

研究问题

：这篇文章要解决的问题是如何基于美国国家综合癌症网络（NCCN）指南，利用人工智能（AI）工具为乳腺癌患者制定个性化的治疗计划。
研究难点

：该问题的研究难点包括：NCCN指南内容复杂且更新频繁，临床医生难以跟上最新的治疗方案；现有的AI技术在处理复杂医学指南时容易出现信息幻觉或提供过时信息。
相关工作

：该问题的研究相关工作包括：AI和自然语言处理（NLP）技术在肿瘤学临床决策支持系统中的应用；大型语言模型（LLMs）在理解和生成人类文本方面的显著能力。

研究方法

这篇论文提出了两种AI驱动的方法：检索增强生成（Retrieval-Augmented Generation, RAG）和代理RAG（Agentic-RAG），用于解决乳腺癌治疗计划个性化的问题。具体来说，

代理RAG（Agentic-RAG）

：该方法包括四个关键步骤：

选择相关标题

：使用GPT-4o模型，根据患者的描述和问题选择相关的临床指南标题。
JSON检索

：从数据集中检索与所选标题对应的JSON对象，获取NCCN文档中的相关信息。
治疗建议生成

：使用第二个LLM（GPT-4o），根据结构化模板生成详细的治疗计划。
不足检查

：使用第三个LLM评估生成的建议的充分性，确保其全面性。

图RAG（Graph-RAG）

：该方法遵循Microsoft开发的框架，使用专有提示，包括以下步骤：

NCCN JSONs转换为文本块

：将NCCN文档的JSON数据转换为文本。
文本块转换为医学实体和关系

：识别和提取文本中的医学实体及其关系。
医学实体和关系到图元素摘要

：将医学实体和关系映射到图结构的元素摘要。
元素摘要到图社区

：将图元素摘要聚类形成图社区。
图社区到社区摘要

：对图社区进行总结，生成社区摘要。
最终治疗建议生成

：通过查询相关图摘要生成最终的治疗建议。

实验设计

患者描述和查询变化

初始收集了16个独特的患者描述，代表乳腺癌管理的广泛临床场景。每个患者描述测试了四种不同的查询变体：

推荐的治疗方案是什么？
这个患者应该如何治疗？
为这个患者提供详细的治疗建议。
这种情况下的治疗方案与NCCN指南一致吗？

评估标准

每个系统的响应由一位持牌医师手动评估，使用以下指标：

治疗数量：AI提供的治疗建议数量（0个、1个、多个）。
幻觉：系统是否引入了NCCN指南中未找到的治疗（0个、至少1个）。
遵循率：治疗建议严格遵循NCCN指南的比例。
错误类型：
遗漏治疗：建议中省略的相关治疗。
不必要的治疗：响应中包含的不相关或多余的治疗。
错误治疗：与NCCN指南相矛盾的建议。
顺序错误：建议的逻辑或时间顺序错误。

结果与分析

系统性能

：三种系统（ChatGPT-4、Graph-RAG、Agentic-RAG）的性能基于遵循NCCN指南的程度、幻觉率和治疗相关错误进行评估。结果表明，每种系统的优缺点如下：

Agentic-RAG

：完美的遵循率为100%，正确识别了所有50个符合NCCN指南的治疗建议。提供了详细的解释和具体的NCCN文档及页码引用。
Graph-RAG

：遵循率为92%，提供了详细的治疗建议，并附有NCCN文档和页码引用。偶尔遗漏了一些细微或重叠的指南信息，导致遗漏了四个治疗。
ChatGPT-4

：遵循率为94%，遗漏了两个治疗，包含了一个不必要的建议。虽然输出准确且没有幻觉，但缺乏深度和临床对齐。

关键发现

没有系统出现治疗幻觉，显示了强大的基线可靠性。
所有系统均未观察到逻辑排序错误或错误治疗，反映了其在正确数据恢复后的治疗逻辑遵循。
提出的系统（Agentic-RAG和Graph-RAG）在提供详细且临床对齐的治疗建议方面表现出色，唯一提供了每个治疗的精确NCCN文档和页码引用，增强了其在临床工作流程中的可靠性和可用性。

总体结论

在这项研究中，开发和评估了两种新系统，Agentic-RAG和Graph-RAG，用于基于NCCN指南生成癌症治疗建议。这些系统旨在通过结合结构化检索方法和领域特定的优化来解决通用LLMs的局限性。Agentic-RAG在所有评估指标上表现完美，提供了详细的NCCN对齐治疗建议，并透明地引用了具体的NCCN文档和页码。其迭代和LLM引导的方法不仅检索准确且全面的信息，而且交付的输出在临床工作流程中高度可靠且可操作。Graph-RAG也提供了详细且有引用的建议，尽管其依赖于图检索偶尔会导致遗漏治疗。相比之下，ChatGPT-4虽然表现出强大的基线能力，但缺乏完成和临床透明的输出所需的结构化机制，这限制了其在高风险医疗设置中的适用性。

论文评价

优点与创新

Agentic-RAG方法

实现了完美的100%符合率，正确识别了所有50条治疗建议，并且提供了详细的解释和NCCN文档及页码引用，确保了透明度和可靠性。
结构化方法论

Agentic-RAG的迭代充分性检查确保了与NCCN指南的完全一致，提供了最全面的输出。
详细且临床对齐的建议

Agentic-RAG和Graph-RAG都提供了详细且与NCCN指南对齐的治疗建议，并附有具体文档和页码引用。
无幻觉治疗

所有系统均未出现幻觉治疗，展示了强大的基线可靠性。
无逻辑错误

在所有系统中，均未观察到逻辑排序错误或错误治疗，反映了它们在恢复正确数据后的治疗逻辑一致性。

不足与反思

Graph-RAG的局限性

：依赖于图检索偶尔会导致遗漏细微或重叠的指南信息，导致系统遗漏了四个治疗。
ChatGPT-4的局限性

：尽管表现良好，但缺乏完成和临床透明的输出所需的结构化机制，限制了其在高风险医疗环境中的应用。
未来工作

：计划通过在更广泛的患者描述集上评估Agentic-RAG和Graph-RAG来扩展测试，涵盖各种癌症类型和阶段。此外，邀请更多肿瘤学家参与评估过程，以提供关键的临床见解和反馈。

关键问题及回答

问题1：Agentic-RAG和Graph-RAG两种方法在处理NCCN指南时有何不同？它们各自的优缺点是什么？

Agentic-RAG

方法

使用三个大型语言模型（LLM）进行逐步处理。首先，使用GPT-4o模型选择相关的临床指南标题；然后，检索相应的JSON对象并生成治疗建议；最后，使用另一个LLM评估生成的建议的充分性。
优点

实现了100%的遵循率，没有幻觉或错误的治疗建议。提供了详细的治疗建议，并附有具体的NCCN文档和页码引用，确保了透明度和可靠性。
缺点

虽然方法复杂，但在处理大规模数据时可能会增加计算成本。

Graph-RAG

方法

遵循Microsoft开发的框架，使用专有提示。将NCCN JSON数据转换为文本，然后识别和提取医学实体及其关系，最终生成图结构表示的治疗关系，并通过查询相关图摘要生成最终的治疗建议。
优点

提供了详细的治疗建议，并附有NCCN文档和页码引用。其图结构方法有助于提取结构化的临床实体和治疗关系。
缺点

偶尔会遗漏一些细微或重叠的指南信息，导致少数治疗建议的遗漏。

问题2：在实验设计中，如何评估三种系统（ChatGPT-4、Graph-RAG、Agentic-RAG）的性能？评估标准是什么？

患者描述和查询变化

初始收集了16个独特的患者描述，代表乳腺癌管理的广泛临床场景。每个患者描述测试了四种不同的查询变体，以确保评估的全面性。
评估标准

治疗数量

AI提供的治疗建议数量（0个、1个、多个）。
幻觉

系统是否引入了NCCN指南中未找到的治疗（0个、至少1个）。
遵循率

治疗建议严格遵循NCCN指南的比例。
错误类型
遗漏治疗

建议中省略的相关治疗。
不必要的治疗

响应中包含的不相关或多余的治疗。
错误治疗

与NCCN指南相矛盾的建议。
顺序错误

建议的逻辑或时间顺序错误。

通过这些评估标准，可以全面了解每种系统在准确性、可靠性和临床对齐方面的表现。

问题3：Agentic-RAG方法中的“不足检查”步骤是如何确保生成的治疗建议的全面性的？

使用第三个LLM

：Agentic-RAG方法使用第三个大型语言模型（LLM）来评估生成的治疗建议的充分性。
详细检查清单

：该LLM使用一个详细的检查清单，涵盖了一系列护理方面，以确保治疗建议的全面性。
迭代改进

：通过多次迭代和检查，确保每一步生成的建议都尽可能完整和准确。

这种方法不仅提高了治疗建议的准确性，还增强了其在临床工作流程中的可靠性和可操作性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述