多模态大模型用于胸部X光诊断报告新发现，发表Nature Medicine|语言-视觉大模型医疗应用科研新思路

最新推荐文章于 2025-04-27 17:11:50 发布

小天才学习机打游戏

最新推荐文章于 2025-04-27 17:11:50 发布

阅读量1.7k

点赞数 31

文章标签：人工智能大数据机器学习 python 算法架构自然语言处理

本文链接：https://blog.csdn.net/m0_59164520/article/details/143779381

版权

在期刊《Nature Medicine》上发表文章《Collaboration between clinicians and vision–language models in radiology report generation》阐述了在放射诊断报告生成过程中，医疗专业人员与能够解读影像内容并转换为自然语言描述的视觉-语言人工智能（AI）模型之间的合作机制。这种协同工作模式涉及利用AI对医学影像进行深入分析与解读，辅之以临床医师的专业判断，以共同产出更为精确和详尽的诊断报告。这一跨学科合作旨在通过提升报告生成的精度和效率，进而增强患者诊疗过程的速度和质量。

01.引言

文章研究了一种致力于开发名为Flamingo-CXR的人工智能模型，旨在自动生成胸部X光图像诊断报告，以解决放射科医生资源短缺问题并提升报告生成的效率与准确性。胸部X光检查作为肺部和心脏疾病诊断的关键，其报告生成过程传统上高度依赖医生经验，易受个人经验和地区差异影响。引入Flamingo-CXR模型不仅旨在减轻放射科医生工作负担，同时通过报告风格的标准化减少了地区间的质量差异。

Flamingo-CXR模型的开发和应用展示了使用AI技术自动生成医疗诊断报告的巨大潜力和优势。模型能够生成与人类专家水平相当乃至更优的胸部X光报告，有助于提高诊断的速度和准确性，减少医疗误差，提高医疗服务公平性和质量。此研究不仅强调了AI技术在医疗报告自动生成领域的重要作用，也为提升未来医疗服务效率及标准化提供了有效的解决方案。

02.Flamingo-CXR模型介绍

该文章介绍的模型是Flamingo-CXR，一个用于生成胸部X光（CXR）报告的AI模型。以下是关于该模型的架构及其各个模块功能的详细介绍：

一、模型架构

Flamingo-CXR模型是基于Flamingo这一先进的视觉-语言基础模型进行微调得到的。Flamingo模型在多项任务中表现出色，尤其是在数据高效适应新任务方面。Flamingo-CXR通过针对胸部X光报告生成任务进行微调，进一步提升了其性能。

二、模块功能

Flamingo-CXR模型的主要架构组件包括：

语言模型：

功能：处理输入文本并生成输出文本。在Flamingo-CXR中，它负责根据胸部X光图像生成放射学报告的文本内容。

视觉编码器：

功能：将视觉数据（如胸部X光图像）映射到与文本输入相同的表示空间。这样，语言模型就可以利用视觉信息来生成更加准确的报告。

连接模块：

功能：整合语言模型和视觉编码器的输出。这个模块包含了多个层次，为语言模型提供了一种表达性的方式来融入视觉信息，以便进行下一个令牌的预测任务。连接模块中的Perceiver Resampler和Cross-Attention层对于适应不熟悉的医疗领域尤其重要。

四、微调与训练

Flamingo-CXR模型在两个大型的、去标识化的胸部X光图像数据集（MIMIC-CXR和IND1）及其对应的放射学报告上进行训练。
通过结合正则化和适应技术，对模型进行了有效的微调，以生成报告的“发现”和“印象”部分。
为了确保模型在健康和不健康病例上都能准确生成报告，研究者在训练过程中使用了重要性加权方法，以确保模型在不健康病例和健康病例上受到同等的惩罚。

五、推理与解码

在推理阶段，Flamingo-CXR使用两种解码策略：beam search（宽度大小设置为3）和nucleus sampling（P=0.9）。默认情况下，它使用确定性解码方法（beam search）生成报告。
通过使用nucleus sampling生成多个候选报告，研究者可以进一步评估模型的性能。

Flamingo-CXR模型通过结合先进的视觉-语言基础模型与针对胸部X光报告生成任务的微调技术，实现了在多个自动化指标上的卓越性能。

模型架构示意图

03.研究结果

该文章介绍的Flamingo-CXR模型在研究中取得了显著的结果，以下是对其研究结果的详细介绍，包括实验数据：

一、研究结果

Flamingo-CXR模型在经过两个大型去标识化数据集（MIMIC-CXR和IND1）的训练后，能够生成高质量的胸部X光报告。这两个数据集分别包含了来自美国急诊部门和印度门诊及住院部门的CXR图像及其对应的放射学报告。

二、实验数据与分析

分类准确性：

模型在多个疾病分类任务上表现出了与人类专家相当的准确性。例如，在某些疾病的接收者操作特征（ROC）曲线上，Flamingo-CXR的表现与两名放射学专家的表现相近。
然而，对于极低发病率的疾病（如肺水肿和扩大的纵隔），模型的准确性略低于放射学专家。

专家评价：

在一项包含放射学专家的评价任务中，Flamingo-CXR生成的报告与原始临床医生报告进行了比较。结果显示，在IND1数据集的71.2%的病例中，经过专家修订的AI生成报告被认为优于或等于原始临床医生报告，而在没有专家修订的情况下，这一比例为51.2%。
专家评价包括两项任务：成对偏好测试和错误纠正任务。在成对偏好测试中，专家被要求从Flamingo-CXR生成的报告和原始临床医生报告中选择一个更好的报告。在错误纠正任务中，专家需要识别并纠正报告中的错误。

临床协作：

研究还探讨了临床医生与AI协作的情况。结果显示，当临床医生过度依赖AI预测或过于批判AI时，临床医生-AI协作可能会变得不利。
在某些情况下，临床医生与AI的协作产生的报告准确性低于临床医生单独工作时的准确性。

解码策略：

Flamingo-CXR在生成报告时采用了两种解码策略：确定性解码（beam search）和随机解码（nucleus sampling）。
确定性解码方法被用作默认设置，用于计算自然语言生成（NLG）和临床指标。随机解码方法用于生成多个报告，以测量疾病的ROC曲线。

三、总结

Flamingo-CXR模型在胸部X光报告生成任务上取得了与人类专家相当或更优的准确性。然而，对于某些极低发病率的疾病，模型的准确性仍有待提高。此外，临床医生与AI的协作需要谨慎处理，以避免产生不利的影响。这些研究结果为AI在放射学报告生成中的实际应用提供了有价值的见解。

研究结果示意图一

研究结果示意图二

研究结果示意图三

04.研究意义

一、推动医学影像学的发展

提高诊断准确性：

文章介绍的Flamingo-CXR模型能够生成高质量的胸部X光报告，其准确性在某些疾病分类任务上甚至达到了与人类专家相当的水平。这有助于提高医学影像诊断的准确性，减少因人为因素导致的误诊和漏诊。

加速诊断过程：

传统的医学影像诊断需要放射科医生手动阅读和分析图像，再撰写报告。而Flamingo-CXR模型能够自动分析图像并生成报告，从而显著加速诊断过程，提高医疗效率。

辅助临床决策：

模型生成的报告不仅包含了疾病的诊断信息，还可能包含疾病的严重程度和不确定性等额外信息。这些信息有助于临床医生更全面地了解患者的病情，从而做出更准确的临床决策。

二、促进人工智能与医学的融合

展示AI在医学影像领域的潜力：

Flamingo-CXR模型的成功应用展示了人工智能在医学影像领域的巨大潜力。随着技术的不断进步，AI有望在未来成为医学影像诊断的重要辅助工具。

推动AI技术的研发与应用：

文章的发表将激发更多研究机构和人员对AI在医学影像领域的研究兴趣，推动相关技术的研发与应用。这有助于形成更加完善的AI医学影像诊断体系，为患者提供更加优质的医疗服务。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述