医图顶会 MICCAI‘24 | MMFusion: 多模态扩散模型在食管癌淋巴结转移诊断中的应用

最新推荐文章于 2025-05-01 22:59:55 发布

Python编程杰哥

最新推荐文章于 2025-05-01 22:59:55 发布

阅读量940

点赞数 17

文章标签：知识图谱人工智能语言模型深度学习 python

本文链接：https://blog.csdn.net/xx_nm98/article/details/144788990

版权

论文信息

题目：MMFusion: Multi-modality Diffusion Model for Lymph Node Metastasis Diagnosis in Esophageal Cancer

MMFusion: 多模态扩散模型在食管癌淋巴结转移诊断中的应用

源码：https://github.com/wuchengyu123/MMFusion

论文创新点

多模态异构图的构建：作者提出了一种基于CT图像以及临床测量和放射组学数据的多模态异构图，用于淋巴结转移诊断。这种图结构旨在探索多模态特征之间的复杂关系，并减少信息冗余。
条件特征引导扩散（CFD）方法：作者开发了一种新的扩散模型，该模型在前向过程中向真实数据添加高斯噪声，并在逆过程中通过去噪UNet学习噪声分布，以生成最终预测。这种方法有效地消除了多模态表示的冗余。
多组织掩蔽关系表示学习（MMRL）策略：作者引入了一种策略，通过在训练和推理阶段应用不同的掩蔽和未掩蔽跨组织表示，来捕获多组织中潜在的预后相关信息，并建立相关性优先级。

摘要

食管癌是全球最常见的癌症类型之一，其癌症相关死亡率排名第六。准确的计算机辅助癌症进展诊断可以帮助医生有效定制个性化治疗方案。目前，基于CT的癌症诊断方法因其全面检查患者状况的能力而受到广泛关注。然而，基于多模态的方法可能会引入信息冗余，导致性能不佳。此外，多模态表示之间的有效互动需要进一步探索，缺乏对多模态特征中预后相关性的深入探索。在本项工作中，作者介绍了一种基于CT图像以及临床测量和放射组学数据的淋巴结转移诊断的多模态异构图基于条件特征引导的扩散模型。为了探索多模态特征之间的复杂关系，我们构建了一个异构图。随后，应用了条件特征引导的扩散方法来消除信息冗余。此外，我们提出了一种掩蔽关系表示学习策略，旨在揭示主要肿瘤和淋巴结图像表示的潜在预后相关性和优先级。各种实验结果验证了我们提出的方法的有效性。代码可在获取。

关键词

食管癌 · 特征引导扩散模型 · 多模态 · 淋巴结转移

2 方法

2.1 架构概述

在本节中，概述了用于LNM诊断的多模态淋巴结转移扩散（MMFusion）模型。如图1所示，通过将相应的掩模应用于原始CT扫描来获得肿瘤（GTV-T）和淋巴结（GTV-N）的总目标体积（GTV）。随后，使用预训练的ResNet提取GTV-N ，和GTV_T 的潜在成像表示，并通过MMRL策略处理，以识别与疾病相关的信息和多组织潜在表示之间的预后相关性优先级。这些特征，以及来自血液学、临床和放射组学的数据，被整合到一个异构图中。然后，利用图注意力网络（GAT）的HGA过程识别潜在的多模态特征互动。最后，应用CFD方法消除多模态特征冗余。

2.2 多组织掩蔽关系学习（MMRL）策略

提出的MMRL策略探索并学习多组织中预后相关的关系优先级和交互信息。如图1所示，以GTV-N分支为例，方法首先对连接的GTV-N表示应用组织内多头自注意力（MSA），生成组织内表示。随后，进行跨组织MSA。在这个阶段，通过在原始关系矩阵上应用随机掩蔽来获得掩蔽关系矩阵。这个过程获得了未掩蔽和掩蔽的跨组织表示，分别记为和。在实际应用中，掩蔽的跨组织表示在训练阶段与合并，而在推理阶段与合并。为确保特征保持的完整性，实施了对齐损失，以强制执行关系建模约束。

2.3 多模态异构图基于条件特征引导的扩散模型

异构图聚合（HGA）模块在图论中，异构图通常表示为，其中顶点特征矩阵对于顶点类型，任务是学习所有的维顶点表示，这些表示可以捕获中涉及的结构和关系信息。表示边的集合及其类型。我们的 HGA 模块专注于聚合其他模态的信息，以捕获多模态特征之间的潜在互动。因此，我们定义了一个异构图，每种多模态数据类型只有一个顶点，，使用 GAT 来识别模态间的互动。为确保考虑了不同模态之间的所有可能关系，我们使用全连接图。在每一层，节点特征将通过其注意力邻居模态更新为，如下所示：

其中表示节点的一跳邻居，表示注意力系数。

条件特征引导扩散（CFD）方法为了消除特征冗余并建模准确的多模态，基于 CARD 开发了一种新的扩散模型。在前向过程中，高斯噪声被添加到由 HGA 输出的特征条件的真值中，任意时间步可以定义为：

其中 , 具有线性噪声调度。表示高斯分布，表示 HGA 的输出特征，是单位矩阵。在逆过程中，去噪 UNet 被应用于学习噪声分布，并在由 HGA 输出特征引导的去噪步骤中生成最终预测，可以定义为：

其中表示去噪 UNet 中的参数。具体来说，推理阶段的逆过程可以形式化为：

其中 , , 和与之前的定义相同，表示在时间步的 CTD 的去噪输出。通过在输出特征的指导下进行去噪过程，可以有效地消除多模态表示的冗余。

3 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述