从 MedRAG 到 i-MedRAG｜新型多轮搜索机制显著提高大模型医学能力

最新推荐文章于 2025-03-28 10:40:03 发布
最新推荐文章于 2025-03-28 10:40:03 发布
阅读量967 收藏 18
点赞数 26
文章标签： 人工智能 langchain 数学建模 自然语言处理 AI编程 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z987421/article/details/145119167
版权

背景

近年来，大语言模型 (LLMs) 如 GPT 系列已展示出解决医学问答任务的巨大潜力。然而，单凭模型内部预训练的固有知识往往难以应对医学领域中高精度、高复杂度的问答任务。而传统的检索增强生成 (RAG) 虽能补充外部知识，却通常局限于单轮检索，无法有效处理需要多步推理与连续信息整合的问题。

为了解决这些挑战，我们在此前推出的 MedRAG 基础上，进一步提出一种全新的迭代检索增强生成框架 i-MedRAG，让大模型能够根据历史检索结果动态生成跟进查询 (follow-up queries)，逐步获取关键信息，形成完整的逻辑推理链，从而显著提升复杂医学问答的性能。

MedRAG 回顾：突破大模型的知识瓶颈

MedRAG 作为我们早期的研究成果，首次系统性地评估了RAG在医学问答中的表现。通过引入检索器 (如BM25、MedCPT) 与权威医学语料库 (如PubMed、StatPearls)，MedRAG 有效提升了模型在多项医学问答基准上的性能，特别是在零样本 (zero-shot) 设定下为大模型补充了外部知识。

MedRAG 的亮点包括：1. 外部知识补充：减少模型幻觉 (hallucination)，提高答案准确性；2. 稳定提升：在不同数据集任务上表现优异，特别是 PubMed 语料库的广泛适配性；3. 综合评估：针对不同检索器与语料组合的性能差异进行了详细探究。

i-MedRAG: 迭代检索实现复杂推理

尽管 MedRAG 已取得显著提升，但面对复杂的临床推理场景（如 USMLE 题目）时，传统 RAG 的单轮检索依旧存在两个问题：1. 信息不完整：检索器只能基于初始查询返回信息，难以逐步定位复杂问题中的关键信息。2. 检索效果受限：初始查询往往过于宽泛，导致无法找到精准答案。

为了解决这些挑战，我们提出 i-MedRAG，将跟进查询 (follow-up queries) 引入MedRAG 框架，让大模型能够：1. 动态生成查询：根据历史检索结果生成后续问题，逐步定位关键信息；2. 构建信息链条：通过多轮检索与推理，形成完整逻辑链，找到准确答案。

性能突破：新 SOTA 成绩

在美国医学执照考试 (MedQA-USMLE) 数据集上，i-MedRAG 在零样本 (zero-shot) 设定下，使用 GPT-3.5 实现了 69.68% 的准确率，不仅超过了前代 MedRAG (66.61%)，还超越了现有的 few-shot 和 fine-tuned 方法，例如 MedAdapter 的 68.66% 和 LLM-AMT 的 67.90%。

此外，i-MedRAG 在多个模型和数据集上的表现证明了其广泛的适应性：GPT-3.5 与 Llama-3.1-8B 在 MedQA 和 MMLU-Med 上均实现性能提升。i-MedRAG 在需要分步信息检索的 MedQA-USMLE 任务中效果尤为显著。

案例解析：多轮查询精准定位答案

面对复杂的医学问答，传统 RAG 往往难以找到关键信息。我们通过一个药物机制问题，展示 i-MedRAG 如何通过迭代检索与推理，精准解决挑战。传统方法的 CoT 模型凭借固有知识猜测「自由基生成」，但未能准确定位药物。而 MedRAG 的单轮检索未找到明确的药物信息，无法给出结论。i-MedRAG 通过分步的检索和推理，先锁定药物顺铂，再进一步搜索得到其作用机制是通过与 DNA 发生交联，导致 DNA 链断裂，从而抑制癌细胞增殖。因此最终答案为 D。

可扩展性分析：探索迭代次数与查询数量的影响

我们进一步分析了 i-MedRAG 的可扩展性，重点探究了两个核心超参数对性能的影响：1. 迭代次数 (Iterations): 模型生成多少轮跟进查询；2. 每轮查询数量 (Queries per Iteration): 每轮生成的查询数量。

在复杂任务（MedQA-USMLE）上，随着迭代次数的增加，模型性能逐步提升，表现出显著的正相关关系。在较简单任务（MMLU-Med）上，模型性能在一至两轮查询后迅速收敛，过多迭代反而可能引入冗余信息。而查询数量的影响在于：每轮生成更多查询可以加速性能提升，但也导致收敛更快。同时，适量的查询设置能在提升效果与效率之间取得平衡。

总结：从 MedRAG 到 i-MedRAG

MedRAG 突破了大模型固有知识的瓶颈，而 i-MedRAG 进一步实现了复杂任务中的逐步信息获取，使大模型具备了「会问问题」的能力。在零样本设定下，我们通过 i-MedRAG 实现了新 SOTA 性能，为医学问答任务带来了新的解决方案。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

医学GraphRAG：通过知识图谱检索增强实现安全医疗大语言模型 - 牛津大学最新论文
强化学习曾小健
08-10 4734
我们引入了一种新型基于图的检索增强生成（RAG）框架，专门为医疗领域设计，称为MedGraphRAG，旨在增强大型语言模型（LLM）的能力并生成基于证据的结果，从而在处理私密医疗数据时提高安全性和可靠性。我们的综合流程首先采用混合静态语义方法进行文档分块，显著提高了上下文捕获能力，相较于传统方法。提取的实体被用于创建一个三层次的层次图结构，将实体与来自医学论文和字典的基础医学知识联系起来。这些实体随后相互连接形成元图，并根据语义相似性进行合并，以开发一个综合的全局图结构。该结构支持精确的。
华为大佬提出Proximity cache近似键值缓存机制：利用用户查询的空间和时间相似性来优化检索增强生成（RAG）系统的效率
AI人工智能的学习之路
03-13 1134
如何在检索增强生成（RAG）系统中优化文档检索的效率，以减少端到端的推理时间？RAG通过整合外部知识来提高大型语言模型（LLM）回答的可靠性，但这也增加了计算开销。RAG在查找相关文档时需要进行大规模向量数据库的最近邻搜索（NNS），这一过程计算开销巨大；传统的精确缓存机制在处理向量搜索时效率低下，因为相似的查询通常不会产生完全相同的嵌入向量。ProximITY，一种用于RAG系统的近似键值缓存机制，通过利用用户查询的空间和时间相似性来减少文档检索的开销。
MedRAG：利用知识图谱引导推理提升医疗Copilot的RAG能力 - 新加坡南洋理工等
m0_59164304的博客
02-15 705
检索增强生成（RAG）是一种适用于检索敏感电子健康记录（EHR）的合适技术。它可以作为医疗副驾驶员Copilot的关键模块，帮助减少医疗从业者和患者的误诊。然而，现有基于启发式的医疗领域RAG模型的诊断准确性和特异性不足，特别是对于症状相似的疾病。本文提出MedRAG，一种通过知识图谱（KG）引导推理提升的医疗领域RAG模型，根据症状检索诊断和治疗建议。MedRAG系统地构建了一个全面的四层分级诊断知识图谱，涵盖各种疾病的关键诊断差异。
MedRAG：基于知识图谱推理的医疗辅助诊断模型
人工智能讲师分享前沿技术
03-12 931
例如，图1展示了MedRAG的总体框架，其中知识图谱的构建模块通过疾病聚类和层次化聚合，将电子健康记录（EHR）中的疾病信息整合到知识图谱中。当患者的症状描述不足以支持明确诊断时，模型会根据知识图谱中的关键特征，生成针对性的后续问题，帮助医生进一步澄清患者病情。MedRAG的核心在于将知识图谱（KG）与RAG技术相结合，通过构建一个包含疾病关键诊断差异的四层层次化知识图谱，动态整合电子健康记录（EHR）数据库中的相似病例，并在大语言模型（LLM）中进行推理，从而实现更精准的诊断决策支持。
【论文阅读】Benchmarking Retrieval-Augmented Generation for Medicine
qq_41502855的博客
09-18 1347
在PubMedQA*和BioASQ-Y/N数据集中，模型的准确率随片段中关键信息位置的变化呈现先下降后上升的U型变化，U-shaped decreasing-then-increasing pattern，这暗示在未来的医学RAG研究中安排片段位置的重要性。对于数据隐私敏感的高风险场景，Mixtral等开源模型是不错的选择。：当关键信息出现在检索片段的中间时，MEDRAG的表现最差，这被称为“lost-in-the middle”，表明信息的位置对模型的回答能力有很大影响。
LinkBERT: Pretraining Language Models with Document Links 论文总结
yingdajun的博客
03-31 2519
LinkBERT: Pretraining Language Models with Document Links Link BERT：带有文档链接的预训练语言模型 源码位置: https://github.com/michiyasunaga/LinkBERT 摘要 语言模型（LM）预训练可以从文本语料库中学习各种知识，帮助下游任务。然而，现有的方法（如BERT）对单个文档建模，并且不能捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，这是一种LM预训练方法，利用文档之间的链接，例如超链
MIRAGE：一个基于医学搜索增强生成（RAG）的框架
simoncool23的博客
02-29 1521
4、零样本学习能力：MEDRAG特别关注RAG系统的零样本（零样本）学习能力，即在没有给出具体例子的情况下，系统能够解答新的、未见过的医学问题。显着提高了系统在实际应用中的灵活性和有效性。1、增强医学问答准确性：通过检索增强生成（RAG）技术，MEDRAG训练利用最新可靠的医学文档信息来辅助大型语言模型（LLM），提高医学问答任务中的准确性和可靠性。1、性能提升：在使用MedRAG后，六种不同的大型语言模型（LLMs）在医学问答任务上的准确率提高了高达18%，将某些模型的性能提升至与GPT-4相当的水平。
1月报错（2025）
2301_76439186的博客
01-10 395
报错：Failed to load file /home/zjy/1月/medrag/data/高尿酸血症.pdf with error: RetryError[<Future at 0x7c5104e4ac20 state=finished raised DependencyError>]. Skipping...遇到llamaindex使用SimpleDirectoryReader无法加载pdf文件，库，而这个库是用于处理 PDF 文件中可能存在的。）来解析 PDF 文件。
Think思考用来增强RAG的Embedding？兼看推理模型使用实践建议等前沿进展
Python_cocola的博客
03-17 798
本文主要回顾了昨日的进展，大家的关注度还是在推理模型上，在探究其所适合做的场景，而与之而来的，其实还是推理的一些架构也出来了，如KTransformer。在论文侧，也在往think+llm的路线上靠。
MedRAG: Enhancing Retrieval-augmented Generation with Knowledge Graph-Elicited Reasoning for Healthc
最新发布
m0_52545077的博客
03-28 720
Retrieval-augmented generation (RAG) is a well-suited technique for retrieving privacy-sensitive Electronic Health Records (EHR).
【牛津大学最新研究】医学GraphRAG：用知识图谱打造安全的医疗AI新时代！
weixin_53028400的博客
08-16 2001
我们介绍了一个名为MedGraphRAG的新型基于图的检索增强生成（RAG）框架，专门为医疗领域设计，旨在增强大型语言模型（LLM）的能力并生成基于证据的结果，从而在处理私人医疗数据时提高安全性和可靠性。尽管LLAMA2的具体细节可能具有假设或推测的性质，但人们可以期待它将继续关注强大、全面的语言分析，完善工具和方法，以更好地衡量语言理解和生成中的细微差别。在其前身LLAMA和LLAMA2的成功基础上，LLAMA3融合了更复杂的算法和更广泛的数据集，以增强其在各种语言任务中的表现。
MedRAG ：解决传统 RAG 对相似症状鉴别不够精确、信息缺失时缺少主动追问
Debroon
02-15 1096
在没有引入知识图谱差异的纯 RAG 模型中，可能只看到“腰痛+下肢放射痛”，就直接给出“可能是坐骨神经痛”的结论，缺乏后续追问过程，从而漏掉“坐姿缓解疼痛”这一关键信息。二者有很多相似症状（腿痛、麻木、腰痛等），但在坐姿、步行耐受度、腿部放射痛方式上有所区分。MedRAG 正是针对这一痛点给出的整体框架：它既能通过知识图谱来区分相似病症，还能在生成答案前后动态检索并追问信息，弥补传统模型的不足。如何提高医疗诊断的准确度，尤其对于症状相近的疾病，或者缺失部分症状描述的场景。因此，MedRAG 的提出，
开源项目 `awesome-deep-time-series-representations` 使用教程
gitblog_00245的博客
08-21 264
开源项目 awesome-deep-time-series-representations 使用教程 awesome-deep-time-series-representationsA curated list of state-of-the-art papers on deep learning for universal representations of time series.项目地址...
LLM论文阅读笔记：Improving Retrieval-Augmented Generation in Medicine with Iterative Follow-up
qq_46396470的博客
10-27 1166
注意：由于作者写该笔记的时候论文可能刚刚发布在预印本平台Arxiv，故尚未被接收。当读者看到该笔记时有可能论文已经接收，还请读者自行查阅。论文直链：https://arxiv.org/pdf/2408.00727?以下以⭐标注的问题，为该论文实际做出贡献的问题。发表期刊：尚未接收（Arxiv预印本）
MedQA、MedMCQA、PubMedQA 和 MMLU数据集简介
qq_46396470的博客
10-02 3573
简介MedQA 数据集是一个面向医学领域的问答数据集，模拟了美国医疗执照考试（USMLE）的风格。它包含了英文、简体中文和繁体中文的问题，旨在评估模型对医学知识的理解和推理能力。数据集主页问题类型单选题数据集的完整格式"question": "问题文本","options": ["选项A", "选项B", "选项C", "选项D"],模型的回答"id": "问题的标识符",
MedRAG：医学AI革命！知识图谱+四层诊断，临床准确率飙升11.32%
士多啤梨先生の博客
03-17 741
MedRAG是南洋理工大学推出的医学诊断模型，结合知识图谱与大语言模型，提升诊断准确率11.32%，支持多模态输入与智能提问，适用于急诊、慢性病管理等多种场景。
医疗图形 RAG: 通过图检索增强生成实现安全医疗大型语言模型
myboyliu2007的专栏
08-14 537
摘要我们介绍了一种新颖的基于图的检索增强生成（RAG）框架，专门为医学领域设计，称为，旨在增强大型语言模型（LLM）的能力，并生成基于证据的结果，从而在处理私人医疗数据时提高安全性和可靠性。我们的全面流程始于一种混合静态语义方法的文档分块，显着改善了传统方法的上下文捕捉。提取的实体用于创建一个三层次的分层图结构，将实体与来自医学论文和字典的基础医学知识联系起来。然后这些实体相互连接以形成元图，基于语义相似性合并这些元图以开发一个全面的全局图。该结构支持精确的信息检索和响应生成。
GraphRAG前沿之MedRAG医疗问答路线：兼看基于KG进行上下文扩展方案
xiaoganbuaiuk的博客
02-15 732
今天是2025年02月14日，星期五，北京，天气晴。我们继续来看GraphRAG进展。目前KG的一个趋势，还是与推理进行结合。所以来看医疗的一个结合思路MedRAG，不过，需要明确的是这类工具其实最多只能是。另外，用知识图谱进行上下文扩展的思路已经被用烂了。所以，在回顾一下，大家可能忘了，所以再温故下，会有收获。专题化，体系化，会有更多深度思考。大家一起加油。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值