AI赋能医学影像，开启合成医学图像新纪元

最新推荐文章于 2025-04-22 20:00:00 发布

小天才学习机打游戏

最新推荐文章于 2025-04-22 20:00:00 发布

阅读量1k

点赞数 15

文章标签：人工智能算法 powerpoint 产品经理 rxjava

本文链接：https://blog.csdn.net/m0_59164520/article/details/146112688

版权

随着人工智能技术的迅猛发展，影像医学已成为AI应用的重要领域之一。近年来，AI在医学影像分析、诊断辅助等方面的应用不断拓展，推动了医疗行业的变革和发展。《Nature Medicine》期刊最新发表了一项突破性研究成果题为“Self-improving generative foundation model for synthetic medical image generation and clinical applications”，提出了全球首个通用大型医学影像-文本生成AI模型——MINIM，为医学影像生成和人工智能辅助诊断开辟了全新路径。MINIM模型不仅能够根据文本指令合成多模态医学影像，包括眼底图像、光学相干断层扫描（OCT）、胸部X光及CT等多个医学影像模态，而且在提升AI模型的诊断能力方面展现出显著成效。这项研究的成功，标志着我们在解决医学影像数据稀缺和隐私保护问题上迈出了重要一步，为AI在医疗健康领域的深入应用提供了强有力的技术支持。

研究背景

AI技术在医学影像中的应用：

随着人工智能技术的发展，AI在医学影像领域的应用前景广阔，包括自动化病变检测、病理分型和治疗效果预测等。AI算法通过学习海量影像数据，提高图像分析的速度和准确性，辅助医生进行诊断。

医学影像数据稀缺问题：

在医学影像领域，尤其是对于罕见病或特定区域的疾病，高质量医学影像数据的稀缺是一个普遍问题。这种数据不足可能导致AI模型的泛化能力下降，难以适应真实临床场景。

隐私保护和伦理挑战：

由于患者隐私保护的需求，获取和共享医学影像数据面临重要的伦理和法律挑战，这限制了数据的可用性，进而影响了AI技术在医疗领域的应用和发展。

研究方法

图1：医学图像合成生成系统的架构图解

模型框架和开发

1.数据准备

在训练阶段，研究团队收集了超过20万对医学影像与文本描述的数据，这些数据覆盖了OCT、胸部CT、乳腺MRI等多种成像模式。

2.模型训练

MINIM模型基于稳定扩散模型（Stable Diffusion Model）进行训练，通过引入一系列随机高斯噪声逐步扰乱输入图像，然后学习逆向扩散过程，以生成与文本描述相匹配的图像。

3.模型推理

在部署阶段，MINIM能够根据多样化的文本描述生成高质量的合成影像（Synthetic Images）。

4.自我改进

使用基于人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF），通过临床医生的评分来迭代增强MINIM的性能。

质量评估

1.主观评估

临床医生基于生成图像的质量和临床相关性进行评分。

按照以下标准：

1分：图像质量低。

2分：图像质量高但与报告内容无关。

3分：图像质量高且与报告内容一致。

2.客观评估

包括多种量化指标：FID（图像生成质量评估）、IS分数（生成多样性）、MS-SSIM（多尺度结构相似性）、CAS（分类准确性评分）以及图像检索指标（IIR和ITR），全面验证生成图像的质量和实用性。

下游分析

1.诊断模型训练

数据增强：使用MINIM模型生成的合成图像与真实图像混合，以不同的比例用于训练多类别诊断模型，使用准确率、F1分数和AUC等指标来评估诊断模型的性能。

2.报告生成

基于CLIP+GPT-2框架训练报告生成模型，将合成图像作为额外输入加入训练过程。使用BLEU、CIDEr和ROUGE-L等自然语言生成指标来评估生成报告与真实报告的相似度。

3.自监督学习

采用Siamese网络架构，将合成图像的不同变体输入网络的两个分支，以评估模型在不同比例的真实数据和合成数据上的表现。

临床应用

1.肺癌EGFR突变检测及生存率预测

进行两分类和三分类EGFR突变类型分类，比较仅使用真实图像的基线模型与结合真实图像和不同比例合成数据的模型。

2.乳腺癌HER2状态检测

训练一个神经网络对乳腺MR图像进行分类，分为无肿瘤、HER2阳性肿瘤和HER2阴性肿瘤三类。

研究结果

生成合成图像质量评估

图2：生成合成图像的评估结果

1.主观评估

MINIM模型在合成图像质量及与临床文本的相关性方面均优于现有方法。MINIM在第一轮中的平均得分为70.75%，在经过强化学习优化后，第三轮的平均得分显著提高至89.25%。

2.客观评估

MINIM的FID、IS和MS-SSIM指标上均展现出较低的FID值、较高的IS值和较低的MS-SSIM值，表明其生成的图像具有更高的保真度。

3.合成图像的视觉对比

图中列出了不同模型生成的图像和真实图像的对比结果，MINIM生成的图像在视觉质量和细节表现上接近真实图像。

自我改进能力

图3：模型的自我改进评估

补充图1：text-to-image 示例

1.人类强化学习（RLHF）

RL-MINIM（采用人类反馈强化学习优化的模型）相比于原始MINIM在所有模态上FID分数显著降低，IS分数均高于原始模型，表明生成图像质量的明显提升。在分类准确率（CAS）、图像检索（IIR）和图像-文本检索（ITR）上均表现出优越性，进一步验证了其在实际应用中的改进能力。

2.跨模态泛化性

FID、IS和MS-SSIM分数：新MINIM（New_MINIM）在不同模态中，与原始MINIM相比，显示出更好的性能，尤其是在FID和IS分数上。

CAS（top1）、IIR（top 10）和ITR（top 10）：新MINIM在这些指标上也显示出比MINIM更高的分数，表明新MINIM在新领域中具有更好的生成能力和泛化性能。

3.合成图像的视觉对比

MINIM模型与其他生成方法生成的合成图像的对比，MINIM生成的图像在视觉上更接近真实图像。

下游分析

图4：合成图像在数据增强中的应用评估

补充图5：生成的图像以及报告示例

1.诊断任务

准确率（Accuracy）：随着合成图像比例的增加，MINIM模型在诊断任务中表现出稳定的准确率，高于或等于其他生成模型。

2.报告生成任务

随着合成图像比例的增加，BLEU-2分数、CIDEr分数和ROUGE-L分数均表现出显著的提升，显示出其在生成更准确和与真实报告更相似方面的优势。

3.自监督学习

在自监督学习任务中，随着合成图像比例的增加，准确率表现出提升，尤其是在胸部CT和胸部X光中，MINIM的准确率高于其他模型。

临床应用

图5：模型在肺癌EGFR突变和乳腺癌HER2状态检测中的性能及生存率预测

1.肺癌EGFR突变分类

随着训练数据中合成图像数量的增加，EGFR突变分类的3类准确率和2类AUROC均有所提高。

2.肺癌EGFR突变预测及其对五年生存率的影响

AI识别的EGFR敏感突变与不敏感突变的五年生存曲线：AI模型预测的EGFR敏感突变患者的生存率与真实EGFR敏感突变患者相似，表明AI模型在预测EGFR突变方面的准确性。

3.乳腺癌HER2突变检测

混淆矩阵：显示了使用真实数据和混合数据（真实+合成）进行HER2突变检测的预测结果。混合数据集的预测准确率、精确度和召回率更高，尤其是在区分肿瘤有无HER2突变方面。

创新性

1.全球首个通用大型生成式医学影像模型：MINIM模型是全球首个能够生成多模态医学影像的通用模型，包括眼底图像、OCT、胸部X光及CT等，这在医学影像研究领域树立了新的里程碑。

2.自我优化机制：引入了自我优化机制，模型能够根据医生评分不断提升生成能力，这一递归优化路径为医学影像数据的合成与应用开辟了新方向。

3.跨模态泛化性：MINIM表现出卓越的泛化能力，能够扩展至其他器官和成像模态的数据生成领域。

4.临床应用潜力：MINIM在肺癌EGFR突变检测和乳腺癌HER2状态检测中表现出了其临床潜力，通过合成图像的辅助，模型在预测EGFR突变和HER2状态方面表现出了更高的准确性，可能对患者的治疗决策产生重要影响。

总结与展望

MINIM的提出为人工智能医学影像应用未来的发展方向提供了清晰的指导。未来的工作将集中在提升数据多样性、解决技术限制、增强泛化能力、拓展临床应用、提高模型可解释性以及深化跨模态泛化性研究，为医学影像的合成与临床应用带来革命性的变化。

参考文献：Wang, J., Wang, K., Yu, Y. et al. Self-improving generative foundation model for synthetic medical image generation and clinical applications. Nat Med (2024). https://doi.org/10.1038/s41591-024-03359-y

代码：https://github. com/WithStomach/MINIM.

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述