医图顶会 MICCAI‘24 | DiffDGSS：基于扩散模型的确定性表示进行泛化性视网膜图像分割-CSDN博客

本文链接：https://blog.csdn.net/m0_59163425/article/details/145597487

论文信息

题目：DiffDGSS: Generalizable Retinal Image Segmentation with Deterministic Representation from Diffusion Models

DiffDGSS：基于扩散模型的确定性表示进行泛化性视网膜图像分割

论文创新点

新颖的框架设计：作者提出了DiffDGSS，这是一个基于表示的方法，用于实现精确的视网膜图像分割和稳健的领域外泛化。这是通过利用预训练的去噪扩散概率模型（DDPM）的强大能力来实现的。
确定性反演技术的应用：作者展示了通过确定性反演技术从扩散模型中获得的稳健表示，这些表示允许强大的领域外泛化。这一技术克服了现有GANs反演技术在重建质量和计算成本上的局限性。
自适应语义特征解释器：为了有效地利用多尺度表示进行领域泛化语义分割，作者设计了一个自适应语义特征解释器。该解释器能够动态适应其在采样时间步的行为，提高了分割的准确性。

摘要

获取视网膜图像的全面分割图是开发可解释的视网膜病变诊断工具的初步步骤。然而，视网膜解剖结构和病变的固有复杂性，以及数据异质性和标注稀缺性，对开发准确且具有泛化能力的模型提出了挑战。去噪扩散概率模型（DDPM）最近在各种医学图像应用中显示出了希望。在本文中，作者出于利用强大的预训练DDPM的动机，引入了一个名为DiffDGSS的新颖框架，以利用扩散模型的潜在表示进行领域泛化语义分割（DGSS）。特别是，作者证明了扩散模型的确定性反演产生了稳健的表示，允许强大的领域外泛化。随后，作者开发了一个自适应语义特征解释器，将这些表示投影到准确的分割图上。在各种任务（视网膜病变和血管分割）和设置（跨领域和跨模态）上的广泛实验表明，DiffDGSS优于最先进的方法。

关键字

视网膜图像 · 扩散模型 · 潜在表示 · 领域泛化语义分割

2 方法论

我们在图1中说明了DiffDGSS的概述。首先，我们简要介绍了DDPM框架。随后，我们详细阐述了确定性反演技术和从DDPM骨干网中提取确定性表示的过程。最后，我们提出了我们的自适应特征解释器，旨在有效利用这些表示进行DGSS。

2.1 去噪扩散概率模型

考虑一个真实的数据点，DDPM描述了一个前向扩散过程，该过程在步中连续向样本引入高斯噪声，导致一系列越来越嘈杂的样本：

其中表示一个固定的方差计划，是最大时间步，选择使得看起来像纯噪声。一旦前向扩散过程可以被逆转，就可以在给定纯噪声的情况下创建一个新的样本。然而，反向扩散过程不能直接计算，DDPM通过以下方式近似它：

其中和分别指的是均值预测器和协方差预测器。在实践中，Ho等人提出了训练一个噪声预测器而不是直接学习并将方差固定为一个常数，因为它产生了更好的样本。

2.2 扩散模型的确定性表示

通过将DDPM泛化为一类导致相同训练目标的非马尔可夫扩散过程，Song等人提出了一个更有效的迭代隐式概率模型类别，名为DDIM，它享有以下确定性后验分布：

其中 , ，DDIM采样（生成）过程，以初始噪声为锚点，为执行前向方向的ODE积分锻造了一个隐式潜在空间：

重要的是，可以以相反的方向（称为DDIM确定性反演）运行这个生成过程，以检索能够以高保真度重建真实图像的潜在代码。尽管在每一步中引入了轻微的误差，但在没有分类器自由指导的情况下它仍然可以很好地工作。我们的关键见解是，潜在空间和图像空间之间存在一个确定性映射，因此我们用图像生成器参数化，该生成器将一系列潜在变量映射到特定图像：

换句话说，网络预测了给定的干净输入，这在执行DDIM确定性反演时产生了多样化的潜在表示形式的中间特征图：

这样的时间步依赖表示允许将它们视为用于领域泛化语义分割的的确定性表示。

2.3 自适应语义特征解释器

我们开发了一个自适应语义特征解释器来解释多尺度表示并动态适应其在采样时间步上的行为。它使用自适应组归一化层（AdaGN）对时间步依赖表示进行条件化，遵循Dhariwal等人的工作，它通过应用通道-wise缩放和平移来扩展组归一化：

其中是具有正弦编码函数的多层感知器的输出。然后，自适应segblock由两个连续的DWConv块组成，后跟基于VSS的Mamba块，用于短程和长程依赖性建模。在推理时，我们使用多数投票机制来集成每个时间步依赖表示的预测图，以获得最终的分割图。

3 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述