Nature Communications|临床可用的胸部X光的多模态放射学模型

最新推荐文章于 2025-04-28 22:01:42 发布

小天才学习机打游戏

最新推荐文章于 2025-04-28 22:01:42 发布

阅读量560

点赞数 27

文章标签：人工智能数据挖掘 chatgpt spring 架构机器学习

本文链接：https://blog.csdn.net/m0_59164520/article/details/147551047

版权

01.工作速览

大型基础模型在生物医学领域展现出巨大潜力，但在临床应用中面临性能差距、可及性、成本以及缺乏可扩展评估等问题。

2025年4月1日，在Nature Communications 在线发表题为**“A clinically accessible small multimodal radiology model and evaluation metric for chest X-ray findings”**的研究论文。该研究*证明了开源的小型多模态模型可以通过生成胸部X光图像的自由文本检查结果来弥合放射学领域的这些差距。*

数据驱动方法利用69.7万对精心整理的放射学图像-文本对，训练了一个专门针对胸部X光图像的编码器，并通过轻量级适配器将其与预训练语言模型相结合，使图像和文本模态对齐。为了实现稳健且具有临床相关性的评估，开发并验证了CheXprompt，这是一种基于GPT-4的评估指标，用于评估与放射科医生评估一致的事实准确性。在以CheXprompt和其他标准事实性评估指标为基准的测试中，LLaVA-Rad（7B）达到了最先进的性能，优于像GPT-4V和Med-PaLM M（84B）这样更大规模的模型。尽管LLaVA-Rad尚未准备好立即用于实时临床部署，但它是一个可扩展、保护隐私且成本效益高的步骤，朝着放射学领域临床适用的多模态人工智能方向迈进。

02.匠心独运

由于促炎巨噬细胞向抗炎巨噬细胞的复极化受损，传统的骨组织工程材料难以在糖尿病期间恢复生理性骨重塑。

基础模型通过在海量未标记数据上使用自监督学习进行训练，能够快速适应各种下游任务，且对任务特定的标记数据需求极低。由于生物医学数据标注成本高昂，基础模型有望成为生物医学领域的新范式，并在许多应用中取得了最先进的成果，例如医学问答和医学图像分类。最近，多模态生成式人工智能（AI）在生物医学领域崭露头角，将应用范围从单一模态扩展到多模态（例如文本和图像），例如视觉问答和放射学报告生成。尽管现有模型大多仍在人工生物医学基准测试中进行评估，但它们展现出的有希望的性能表明了其在临床应用中的潜力。

然而，基础模型在现实世界临床场景中的应用仍面临诸多重大瓶颈。首先，将患者数据共享给托管在云端的大型基础模型存在隐私问题。因此，临床医生可能更倾向于在本地运行推理和微调。其次，现有的最先进的模型通常非常庞大且资源密集，这使得本地部署面临挑战。小型模型的碳足迹更小，并且能够降低服务成本和延迟，这在数据中心之外的资源受限环境中尤为重要。然而，尽管小型语言模型在文本领域取得了成功，但小型多模态模型（SMM）与大型模型相比仍存在显著的性能差距。第三，许多最先进的模型难以获取，这促使了开发有效的生物医学开源模型的必要性。最后，即使是最好的模型仍然会犯错误，例如出现幻觉，而现有的事实正确性自动化评估方法与专家评估的相关性有限。因此，开发可靠的方法以大规模评估模型输出的正确性至关重要，尤其是在专业性很强的生物医学领域。

我研究重点是识别胸部X光（CXR）图像的关键发现，这是最常进行的医学影像检查。自动起草高质量的放射学报告是一项具有挑战性但又具有临床意义的任务，它可以直接提高放射科医生的工作效率，并有可能改善沟通和减少工作倦怠。现有的前沿模型，如GPT-4V，即使在如此基础的医学应用中，仍然存在较大的性能差距。为了弥合现有医学基础模型与现实世界临床应用之间的差距，开发了LLaVA-Rad，这是一种在标准放射学成像任务中达到最先进性能的小型多模态模型，以及CheXprompt，这是一种用于评估事实正确性的自动化评分指标。为了开发LLaVA-Rad，采用模块化方法，整合最先进的开源预训练图像和文本模态模型，并专注于训练一个轻量级适配器，将每种模态锚定到文本嵌入空间。

图1：LLaVA-Rad概览。a 为了训练LLaVA-Rad，构建了一个包含超过69.7万对胸部X光图像与文本的大型数据集；GPT-4用于从标签合成报告、翻译西班牙语报告，并处理和结构化相应的放射学报告。b 采用模块化的三阶段方法来训练LLaVA-Rad，包括预训练、对齐和微调。c 对模型在生成过程中的注意力进行定性可视化。d 在评估方面，还提出了一种使用GPT-4进行事实性错误评分的新方法，并展示了其与专家评估的一致性。e LLaVA-Rad在先前的标准报告评估指标上优于更大规模的通用和专用模型，如GPT-4V和Med-PaLM M。MLP为多层感知器。

在训练中，作者构建了一个包含697,435对放射学图像与报告的大型数据集，这些数据来自7个不同的来源。一些数据源仅包含关键发现的结构化标签，在这种情况下，使用GPT-4根据真实标签合成报告。在评估中，报告了标准指标，例如基于n-gram的BLEU和ROUGE，以及基于CheXpert和RadGraph的事实性检查。此外，提出了CheXprompt，这是一种基于GPT-4的事实性评估方法。与现有的自动化指标相比，证明CheXprompt与临床放射科医生的错误量化更为一致，从而展示了以一种既可扩展又高度符合医学实践的方式使用GPT-4进行评估的潜力。为了建立生物医学多模态学习的最佳实践，对数据工程和多模态训练中的各种选择进行了系统的消融研究。

LLaVA-Rad（7B）模型在标准放射学任务（如报告生成和跨模态检索）上达到了最先进的水平，甚至超过了像GPT-4V和Med-PaLM M（84B）这样更大规模的模型。LLaVA-Rad的推理速度很快，可以在私密环境中使用单个V100 GPU运行，为现实世界的临床应用提供了一个有前景的最先进的工具。此外，LLaVA-Rad的训练也非常高效，仅需一天时间即可在标准的8-A100集群上处理超过69.7万对图像与文本。这意味着临床医生可以使用他们的私有数据高效地对模型进行进一步微调。通过检查模型权重，发现LLaVA-Rad可以将异常的关键区域与输出报告中的生成词汇相对应，这表明未来有机会与生物医学分割和基于定位的报告生成的最新进展相结合。

03.卓越性能

图2：使用MIMIC-CXR现有报告生成基准对LLaVA-Rad进行定量和定性评估。

a. 根据现有的事实正确性（F1-CheXbert-14、F1-RadGraph）和词汇相似性（ROUGE-L）指标，比较LLaVA-Rad与开源模型的性能。

b. 根据现有的事实正确性和词汇相似性指标，比较LLaVA-Rad与闭源模型的性能。

c. 比较模型大小与事实正确性，结果显示LLaVA-Rad比现有方法更小且更符合事实。

d. 展示LLaVA-Rad生成的样本报告，并与LLaVA和LLaVA-Med的报告进行比较。LLaVA-Rad生成的与参考发现匹配的内容被突出显示。

e. 展示LLaVA-Rad、LLaVA-Med和LLaVA在跨模态检索任务上的性能对比。

在a-e中，数值对应于MIMIC-CXR测试集（n=2461对图像-报告）的平均统计结果，MAIRA-1和Med-PaLM M的数据来源于其原始出版物。在a和b中，误差条表示从500个样本中得出的95%引导法置信区间。

图3：LLaVA-Rad在保留数据集（Open-I、CheXpert和US-CXR）上的外部验证结果。

a, b. Open-I数据集；c, d. CheXpert数据集；e, f. US-CXR数据集。在所有外部验证数据集上，LLaVA-Rad在传统事实正确性指标（F1-CheXbert-14、F1-RadGraph）和词汇相似性（ROUGE-L）方面均优于基线模型。CheXprompt评估（b、d、f）进一步表明，与基线模型相比，LLaVA-Rad产生的临床显著性错误和总体错误更少。每个数据集样本由图像-报告对组成（Open-I：n = 2163；CheXpert：n = 61；US-CXR：n = 1751）。数值表示每个数据集的平均指标得分，误差条表示从500次重采样迭代中得出的95%引导法置信区间。

图4：使用CheXprompt评估LLaVA-Rad。

a. 基于GPT-4的CheXprompt在总错误量化方面与留出的放射科医生相比，更接近留下的放射科医生的平均水平（平均绝对差值为0.55，而留出的放射科医生为0.71）。

b. 在与放射科医生错误量化的一致性方面，CheXprompt与现有指标的比较。

c. 在MIMIC-CXR测试集上，使用CheXprompt对LLaVA-Rad与竞争方法进行比较。

d. 展示如何使用CheXprompt评估LLaVA-Rad生成的报告，并突出显示错误。GPT-4T代表GPT-4 Turbo。在a中，p值对应于双侧配对t检验。在b和c中，数值表示平均指标得分，误差条对应于95%引导法置信区间。

图5：通过消融研究和注意力可视化分析LLaVA-Rad的性能。

a. 比较使用不同的图像编码器（LLaVA-Rad中的BiomedCLIP-CXR、在MIMIC-CXR上持续预训练的BiomedCLIP、BiomedCLIP以及OpenAI CLIP）开始对齐和微调阶段的效果。

b. 消融研究，仅使用规则处理的MIMIC-CXR训练数据或GPT-4处理的训练数据进行对齐和微调阶段的效果比较。

c. 注意力可视化定性地展示了LLaVA-Rad在生成特定发现（底部行）中的词汇（加粗文本）时，能够适当地定位到特定图像区域。在a和b中，数值表示平均指标得分，误差条表示从500次重采样迭代中得出的95%引导法置信区间。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述