MedSegDiff阅读笔记

论文地址:[2211.00611] MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model (arxiv.org)

代码:GitHub - KidsWithTokens/MedSegDiff: Medical Image Segmentation with Diffusion Model

受DPM成功的启发，论文作者提出了第一个基于DPM的一般医学图像分割模型，其命名为MedSegDiff。

创新点:

1. 动态条件编码，该编码为每个采样步建立状态自适应条件,增强DPM在医学图像分割中的分步区域注意力。

2.提出Feature Frequency Parser (FF-Parser)来消除高频噪声分量在此过程中的负面影响。

3. 在三种不同图像模式的医学分割任务上验证了MedSegDiff，即眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。

在迭代采样过程中，MedSegDiff 以图像先验条件每个步骤，以便从中学习分割图。为了实现自适应区域注意，将当前步骤的分割图集成到每一步的图像先验编码中。具体实现是在特征层面上以多尺度的方式将当前步骤的分割掩模与先验图像进行融合。这样，损坏的当前步掩模有助于动态增强条件特征，从而提高重建精度。为了消除此过程中损坏的给定掩模中的高频噪声，提出特征频率解析器（FF-Parser）来过滤傅立叶空间中的特征。每个跳跃连接路径上都采用 FF-Parser 以进行多尺度集成。

原论文 以Unet为学习网络，对训练步骤的描述如下: 

 动态条件编码

仅给出静态图像 I 作为每一步的条件将很难学习。为了解决这个问题，为每个步骤提出了动态条件编码。

一方面，原始图像包含准确的分割目标信息，但很难与背景区分开来；

另一方面，当前步骤的分割图包含增强的目标区域，但不准确。

这促使整合当前步的分割信息xt转化为有条件的原始图像编码以进行互补。

FF-Parser

它的作用是约束xt特征中与噪声相关的成分，可被视为频率滤波器的可学习版本，它全局调整特定频率的分量。因此可以学习约束自适应积分的高频分量。