医图顶会 MICCAI‘24 | 条件Diffusion结合空间注意力，实现医学图像精准区分割_conditional diffusion model with spatial attention-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/143492569

论文信息

题目：Conditional diffusion model with spatial attention and latent embedding for medical image segmentation

源码：https://github.com/Hejrati/cDAL/

论文创新点

条件扩散模型与空间注意力的结合：作者提出了一种新颖的条件扩散模型cDAL，该模型在每个扩散时间步骤中结合了一个**卷积神经网络(CNN)**基的鉴别器，用以区分生成的标签和真实标签。此外，该模型利用鉴别器学习的空间注意力图来指导扩散过程，从而更准确地分割图像中的辨识区域。
潜在嵌入的引入：为了减少训练和采样的时间步骤，作者在模型的每个层中引入了随机潜在嵌入。这一策略显著减少了模型在训练和采样过程中所需的时间步骤数量，同时保持了生成图像的质量。
快速采样与高质量图像的平衡：cDAL模型通过使用较大的步长和随机潜在嵌入，实现了在保持生成图像质量的同时加快采样速度。这解决了扩散模型中常见的采样时间长的问题，同时避免了快速采样导致的图像质量下降。

摘要

扩散模型已广泛用于高质量图像和视频生成任务。在本文中，作者提出了一种新颖的条件扩散模型，结合空间注意力和潜在嵌入（cDAL），用于医学图像分割。在cDAL中，卷积神经网络（CNN）基的鉴别器在扩散过程的每个时间步骤中使用，以区分生成的标签和真实标签。基于鉴别器学习的特征计算空间注意力图，以帮助cDAL在输入图像中生成更具辨识力区域的更准确分割。此外，作者在模型的每个层中引入了随机潜在嵌入，显著减少了训练和采样时间步骤的数量，从而使其比其他用于图像分割的扩散模型更快。作者在3个公开可用的医学图像分割数据集（MoNuSeg、胸部X射线和海马体）上应用了cDAL，并观察到与最先进的算法相比，在Dice分数和mIoU方面有显著的定性和定量改进。

关键词

医学图像分割 · 扩散模型 · 生成器 · 鉴别器 · 空间注意力 · 潜在嵌入

2 方法

在以下各节中，作者将详细介绍所提出的cDAL架构的每个组成部分，如图1所示。

2.1 用于图像分割的条件扩散模型

医学图像分割中存在固有的歧义，因为不同专家对同一图像的描绘是不同的。在所提出的cDAL中，作者利用DDPM的随机性来近似这个过程，并在推理过程中生成多个预测。随后，作者取预测的平均值，并将它们阈值化以获得比确定性模型（如U-Net）更准确的分割掩模。DDPM[5]由一个马尔可夫链前向过程组成，在这个过程中高斯噪声逐渐被添加以扰动数据分布，在T个时间步骤中进行。前向过程q由联合分布给出：q(x1:T |x0) = ，其中对于每个步骤t，前向过程是：q(xt|xt−1) = ββ。这里，x0是从数据分布中采样的，T是时间步骤的数量，βt是预定义的噪声计划，N表示高斯分布，I与数据x0的形状相同的n×n大小的单位矩阵。从x0到xt的累积过程表示为：xt = ααϵ, ϵ 。这里，αβ是在前向过程q(xt|x0) = αα中使用的累积缩放因子，以在任意时间步骤t获得样本xt。DDPM的逆过程是迭代去噪潜在变量（x1，…，xT），由联合分布pθ(x0:T)参数化并给出：

其中，µθ(xt, t)，σ2t和θ分别表示去噪模型pθ(xt−1|xt)的均值、方差和参数。通过最大化证据下界[5]，我们得到了训练损失函数：arg minθ Ex0,ϵ,t[||ϵ − ϵθ(xt, t)||2]，其中ϵ 表示纯高斯噪声，ϵθ表示去噪网络预测的噪声。在采样阶段，训练好的模型ϵθ被用来迭代去噪数据，即从xt生成xt−1，对于t = T, T − 1, …, 1，并最终通过从纯高斯噪声xT 开始生成数据x0。这种DDPM的无条件生成过程适用于图像生成任务，其目标是模拟数据分布。对于图像分割任务，存在图像和标签对（I，x），其中I表示图像，x表示相应的真实标签。因此，对于图像分割任务，扩散模型有助于生成标签的分布，但它需要将图像作为条件以生成相关的标签。在cDAL中，作者使用扩散模型作为生成器xθ，以图像I作为条件，指导扩散模型生成与图像I相对应的标签（x），如图1所示。在作者的方法中，不是用扩散模型ϵθ预测噪声，而是使用[19]提供的公式，并直接预测干净标签，使用我们的扩散模型，条件是图像，即θ，其中t是时间嵌入。

2.2 cDAL：空间注意力图

在cDAL架构中，作者结合了一个独特的基于CNN的鉴别器D，如图1所示。这个鉴别器被训练用来区分真实分割标签和使用我们的扩散模型xθ(xt, t, I)生成的标签。更具体来说，首先使用前向过程生成扰动标签，即。然后，鉴别器D使用，和时间步骤t作为输入来预测标签为真实。使用交叉熵损失来更新D。随后，保持扩散模型冻结状态，扩散模型的输出为：。有了，使用后验分布采样。然后，鉴别器使用，和t作为输入来预测标签为假（类别0），并使用交叉熵损失再次更新D。

显然，鉴别器D学习了最有辨识力的特征来区分真实的和预测的。这里，作者使用D的特征图来生成空间注意力图AD = ，其中F_i表示D的第i个特征图，C为通道数。注意力图AD突出了标签中对模型生成接近真实x_0的标签至关重要的空间区域。作者将注意力图AD上采样以匹配真实标签x_0的形状，然后执行逐元素乘法以获得，其中表示哈达玛德积。随后，前向过程用于将转换为，使用q()。扰动的被送入条件扩散模型以预测，如图1所示。鉴别器D固定后，扩散模型的损失是，其中x_0是真实标签，xθ是依赖于注意力的的去噪模型。这个损失用于更新条件扩散模型的参数θ。

2.3 cDAL：潜在嵌入

DDPM[5]通常在训练和采样中使用大量时间步骤，因为它使用小步长。因此，真实的去噪分布更接近高斯分布。当去噪步长变大时，去噪分布偏离高斯分布，变成复杂的多峰分布[18]。在cDAL中，作者使用较大的步长在T个时间步骤（T ≤ 4）中使用前向过程q() = ββ，其中每个时间步骤的大方差βt来扰动标签数据x_0。对于逆过程，去噪模型由下式给出：

其中，首先使用xθ()预测，然后从后验分布q()中采样，如图1所示。现在，在cDAL xθ中引入随机潜在嵌入z ，使得。因此，去噪模型pθ()由下式给出：

pθ() :=

其中，pθ()是条件扩散模型生成器xθ()的隐含分布，该生成器使用L维潜在变量z。因此，我们条件扩散模型标签生成器的映射是xθ()。预测的标签不是xt的确定性映射，如DDPM中的那样，而是由具有随机潜在变量z的去噪模型产生的。这个过程使去噪分布pθ()多峰化，因此可以使用更大的步长。最终更新xθ（D冻结）的损失由下式给出：

3 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述