[Nature Medicine]应用于疾病诊断辅助的通用医学大模型MedFound - 北医三院&北邮

最新推荐文章于 2025-03-24 13:00:12 发布

AI大模型入门教程

最新推荐文章于 2025-03-24 13:00:12 发布

阅读量2.9k

点赞数 48

文章标签：人工智能深度学习数据库机器学习 AI ai

本文链接：https://blog.csdn.net/Everly_/article/details/145109650

版权

A generalist medical language model for disease diagnosis assistance | Nature Medicine

https://www.nature.com/articles/s41591-024-03416-6

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何利用大规模通用语言模型（LLM）来辅助疾病诊断，以提高诊断的准确性和效率。
研究难点：该问题的研究难点包括：LLM在临床诊断中的有效性尚未得到充分验证；现有的LLM模型缺乏对医学知识的广泛编码和实际临床案例的训练；如何确保LLM的输出与临床实践和标准一致。
相关工作：该问题的研究相关工作包括：近年来预训练语言模型（PLMs）在自然语言处理（NLP）领域的显著进展；已有的医学领域特定PLMs，如ClinicalBERT、NYUTron、GatorTron和BioGPT，展示了在医学预测分析中的潜力；但大多数研究集中在医学问答和对话任务上，缺乏对临床诊断推理能力的全面开发。

研究方法

这篇论文提出了MedFound，一种大规模通用医学大语言模型，用于解决疾病诊断辅助问题。具体来说，

预训练：首先，在包含63亿文本令牌的大规模医学语料库（MedCorpus）上进行预训练。MedCorpus来自四个数据集：MedText、PMC-CR、MIMIC-III-Note和MedDX-Note。这些数据集涵盖了广泛的医学知识和实际临床案例。
微调：其次，使用包含诊断理由演示的医学记录数据集（MedDX-FT）对MedFound进行微调，以模仿医生的诊断推理过程。通过自举策略增强LLM自动生成高质量诊断理由的能力。
对齐：最后，引入统一的偏好对齐框架（PA），将LLM与标准临床实践对齐。该框架包括两类偏好：诊断层次偏好和有用性偏好。诊断层次偏好通过国际疾病分类（ICD）-10树的层次结构指导LLM；有用性偏好通过专家注释评估诊断理由的有用性。

实验设计

数据收集：构建了三个数据集用于开发和评估MedFound-DX-PA：MedCorpus用于预训练，MedDX-FT用于微调和对齐，MedDX-Bench用于评估。MedDX-Bench包括MedDX-Test、MedDX-OOD和MedDX-Rare三个临床数据集。
样本选择：MedDX-Test数据集包含11,662条医学记录，覆盖八个专业的常见疾病。MedDX-OOD数据集包含23,917条常见疾病的记录，MedDX-Rare数据集包含20,257条罕见疾病的记录。
实验设计：实验包括三个阶段的评估：分布内（ID）评估、分布外（OOD）评估和长尾疾病分布评估。通过对比其他领先LLM模型（如MEDITRON-70B、Clinical Camel-70B和Llama 3-70B）和GPT-4o，评估MedFound-DX-PA的诊断性能。
参数配置：使用BLOOM-176B作为基础模型，采用低秩适应（LoRA）和ZeRO++技术进行高效训练。模型推理使用vLLM62库，采用MED-Prompt和SC提示技术生成诊断理由。

结果与分析

常见疾病诊断性能：在ID设置下，MedFound-DX-PA的平均Top-3准确率为84.2%，显著优于其他模型。在OOD设置下，MedFound-DX-PA在所有专业中的表现均显著优于基线模型。
罕见疾病诊断性能：在零样本学习设置下，MedFound-DX-PA在八个专业中的平均Top-3准确率为80.7%，显著优于其他LLM模型。长尾疾病分布评估显示，MedFound-DX-PA在超罕见疾病和罕见疾病中的表现均优于其他模型。
医生对比研究：在内分泌学和肺科医生的对比研究中，MedFound-DX-PA的诊断准确率分别为74.7%和72.6%，均优于初级和中级医生，但与高级医生相当。
AI辅助诊断：在医生工作流程中，AI辅助诊断显著提高了初级和中级医生的诊断准确率，分别在肺科和内分泌学中提高了11.9%和4.4%。

总体结论

这篇论文提出的MedFound-DX-PA模型在常见疾病和罕见疾病的诊断中表现出色，显著优于现有的LLM模型和分类模型。通过自举策略和统一的偏好对齐框架，MedFound-DX-PA能够生成高质量的诊断理由，并与临床实践和标准保持一致。研究表明，LLM在医学诊断中具有巨大的潜力，可以作为医生的有力辅助工具，提高诊断的准确性和效率。未来的研究方向包括将LLM与多模态数据集成，以及进一步优化LLM模型以更好地适应个体医生。

论文评价

优点与创新

大规模预训练模型：MedFound是一个拥有1760亿参数的预训练语言模型，是目前最大的开源医疗语言模型，能够在多种医疗文本和真实世界临床记录上进行高效预训练。
自引导策略：通过自引导策略的链式思维（COT）微调，使语言模型能够自动生成诊断理由和推理过程，类似于医生专家。
统一偏好对齐框架：引入了一个统一的偏好对齐（PA）框架，结合了ICD-10诊断层次偏好和专家标注的有用性偏好，确保模型输出与临床要求和人类价值观一致。
全面的评估：进行了包括人工智能与医生比较、AI辅助研究和人类评估框架在内的综合评估，验证了语言模型在诊断中的临床适用性。
多场景表现优异：在常见疾病、罕见疾病的长尾分布以及外部验证场景中，MedFound-DX-PA均表现出色，特别是在罕见疾病的诊断上取得了显著进展。
生成诊断理由：模型能够生成详细的诊断理由，提高了医生的信任度，并使模型的输出更加透明。

不足与反思

数据隐私和安全：尽管使用了去标识化的电子健康记录（EHR）数据，但仍需进一步确保数据隐私和安全。
多模态数据集成：当前模型主要关注语言交互，未来工作将探索与视觉语言模型（VLMs）的集成，以支持更全面的诊断和多模态患者护理。
个性化诊断支持：未来的研究将专注于优化LLM模型，使其更好地适应个别医生，从而提高诊断支持的个性化程度。
人类-AI协作：需要进一步研究AI辅助对人类认知和观察性能的影响，以优化人类-AI协作。

关键问题及回答

问题1：MedFound-DX-PA模型在罕见疾病诊断中的表现如何？与其他模型相比有何优势？

在零样本学习设置下，MedFound-DX-PA在所有专科的平均准确率为80.7%，显著高于其他模型，如MEDITRON-70B（77.4%）、Llama 3-70B（77.4%）和GPT-4o（56.5%）。在长尾疾病分布中，MedFound-DX-PA在超罕见疾病（≤0.1%）和罕见疾病（0.1-1%）的平均准确率分别为87.4%和89.2%，也显著优于其他模型。这表明MedFound-DX-PA在处理罕见疾病时具有更强的适应性和诊断能力。

问题2：MedFound-DX-PA模型是如何通过自举策略链式思维（COT）微调来提高诊断推理能力的？