从 MedRAG 到 i-MedRAG｜新型多轮搜索机制显著提高大模型医学能力

最新推荐文章于 2025-03-28 10:40:03 发布

大模型RAG实战

最新推荐文章于 2025-03-28 10:40:03 发布

阅读量719

点赞数 16

文章标签：人工智能机器学习大模型 LLM ai Agent AI大模型

本文链接：https://blog.csdn.net/m0_59614665/article/details/144579828

版权

背景

近年来，大语言模型 (LLMs) 如 GPT 系列已展示出解决医学问答任务的巨大潜力。然而，单凭模型内部预训练的固有知识往往难以应对医学领域中高精度、高复杂度的问答任务。而传统的检索增强生成 (RAG) 虽能补充外部知识，却通常局限于单轮检索，无法有效处理需要多步推理与连续信息整合的问题。

为了解决这些挑战，我们在此前推出的MedRAG基础上，进一步提出一种全新的迭代检索增强生成框架 i-MedRAG，让大模型能够根据历史检索结果动态生成跟进查询 (follow-up queries)，逐步获取关键信息，形成完整的逻辑推理链，从而显著提升复杂医学问答的性能。

MedRAG 回顾：突破大模型的知识瓶颈

MedRAG作为我们早期的研究成果，首次系统性地评估了RAG在医学问答中的表现。通过引入检索器 (如BM25、MedCPT) 与权威医学语料库 (如PubMed、StatPearls)，MedRAG 有效提升了模型在多项医学问答基准上的性能，特别是在零样本 (zero-shot) 设定下为大模型补充了外部知识。

MedRAG 的亮点包括：

1. 外部知识补充：减少模型幻觉 (hallucination)，提高答案准确性；
2. 稳定提升：在不同数据集任务上表现优异，特别是 PubMed语料库的广泛适配性；
3. 综合评估：针对不同检索器与语料组合的性能差异进行了详细探究。

i-MedRAG: 迭代检索实现复杂推理

尽管 MedRAG 已取得显著提升，但面对复杂的临床推理场景（如 USMLE 题目）时，传统 RAG 的单轮检索依旧存在两个问题：
1. 信息不完整：检索器只能基于初始查询返回信息，难以逐步定位复杂问题中的关键信息。
2. 检索效果受限：初始查询往往过于宽泛，导致无法找到精准答案。

为了解决这些挑战，我们提出 i-MedRAG，将跟进查询 (follow-up queries) 引入MedRAG 框架，让大模型能够：
1. 动态生成查询：根据历史检索结果生成后续问题，逐步定位关键信息；
2. 构建信息链条：通过多轮检索与推理，形成完整逻辑链，找到准确答案。

性能突破：新 SOTA 成绩

在美国医学执照考试 MedQA-USMLE 数据集上，i-MedRAG 在零样本 (zero-shot) 设定下，使用 GPT-3.5 实现了 69.68% 的准确率，不仅超过了前代 MedRAG (66.61%)，还超越了现有的 few-shot 和 fine-tuned 方法，例如 MedAdapter 的 68.66% 和 LLM-AMT 的 67.90%。

此外，i-MedRAG 在多个模型和数据集上的表现证明了其广泛的适应性：GPT-3.5 与 Llama-3.1-8B 在 MedQA 和 MMLU-Med 上均实现性能提升。i-MedRAG 在需要分步信息检索的 MedQA-USMLE 任务中效果尤为显著。

案例解析：多轮查询精准定位答案

面对复杂的医学问答，传统 RAG 往往难以找到关键信息。我们通过一个药物机制问题，展示 i-MedRAG 如何通过迭代检索与推理，精准解决挑战。传统方法的 CoT 模型凭借固有知识猜测「自由基生成」，但未能准确定位药物。而 MedRAG 的单轮检索未找到明确的药物信息，无法给出结论。i-MedRAG 通过分步的检索和推理，先锁定药物顺铂，再进一步搜索得到其作用机制是通过与 DNA 发生交联，导致 DNA 链断裂，从而抑制癌细胞增殖。因此最终答案为 D。

可扩展性分析：探索迭代次数与查询数量的影响

我们进一步分析了 i-MedRAG 的可扩展性，重点探究了两个核心超参数对性能的影响：
1. 迭代次数 (Iterations): 模型生成多少轮跟进查询；
2. 每轮查询数量 (Queries per Iteration): 每轮生成的查询数量。

在复杂任务（MedQA-USMLE）上，随着迭代次数的增加，模型性能逐步提升，表现出显著的正相关关系。在较简单任务（MMLU-Med）上，模型性能在一至两轮查询后迅速收敛，过多迭代反而可能引入冗余信息。而查询数量的影响在于：每轮生成更多查询可以加速性能提升，但也导致收敛更快。同时，适量的查询设置能在提升效果与效率之间取得平衡。