边界感知相关文献阅读：Shape and Boundary-aware Multi-Branch Model forSemi-supervised Medical Image Segmentation

文章目录

目录

文章信息

一、摘要

二、工作的主要贡献归纳

三、背景方法知识点

1、Consistency Regularization（一致性正则化）

2、Signed Distance Map（符号距离映射）

四、本文提出的方法

1、 Feature fusion module (FFM)-特征融合模块

2、Loss Function

2.1 SDM Loss（回归符号距离损失）

2.2 PSM Loss(粗略像素分割的损失)

2.3 . Boundary Loss（边界损失）

2.4 Hybrid Loss(混损失)

五、实验效果

---

本文目前只着重关注记录文中边界感知的实现方法

---

文章信息

---

一、摘要

        基于监督学习的医学图像分割模型通常需要大量带标注的训练数据。由于训练数据的不足，往往会导致模型性能的限制，如过拟合，精度低，泛化能力差。然而，这种困境在医学图像分析领域可能只会恶化。医学图像标注通常需要有经验的放射科医生和大量的时间来完成。

         在这项工作中，我们提出了一种新的形状和边界感知模型的医学图像分割的基础上半监督学习。该模型利用监督损失来学习注释数据和未标记数据的一致性损失。首先，我们提取多尺度特征用于像素分割图（PSM）预测和符号距离图（SDM）回归。其次，我们将SDM和PSM与正则化输入连接起来，然后将它们送入FFM进行精细分割。SDM和PSM所包含的高层语义有助于非边界区域的准确分割。同时，边界损失的引入对加强边界感知能力也起到了举足轻重的作用。最后，这样的最终结果来自于融合非边界区域和边界区域。最后但并非最不重要的是，为了挖掘未标记的训练数据，我们对模型的三个核心输出（即粗PSM，SDM和细化PSM）施加了一致性约束。通过对两个具有代表性但具有挑战性的医学图像数据集的大量实验，并与已有的代表性方法进行比较，验证了该模型的实用性和优越性。

        我们在这项工作中的目标是提高全自动逐像素分割的准确性时，只有有限的注释数据和大量的未注释数据，所以弱监督和交互式方法不是我们的选择。

二、工作的主要贡献归纳

• 我们提出了一种基于V形或U形的医学图像分割模型，采用从粗到细的方法。在粗分割阶段，PSM预测和SDM回归同时执行。在此基础上，在先前分割结果的指导下，进行精细分割。
• 我们利用未标记样本的三个关键输出之间的任务一致性。同时，通过对抗训练，进一步利用了大量的60个未标记数据。
• 我们对BrTS 2019和心房分割2018数据集进行了广泛的实验，以评估我们模型的有效性。实验结果表明，我们的模型优于以前的国家的最先进的方法在大多数评价指标

三、背景方法知识点

1、Consistency Regularization（一致性正则化）

"一致性正则化"通常指的是一种在机器学习，特别是在半监督学习模型中常见的正则化技术，旨在使模型对轻微扰动的输入保持一致的输出。这种方法认为，即使在输入数据中加入小的扰动，模型的预测结果也不应有大的变化。一致性正则化有助于提高模型的泛化能力，尤其是在标注数据稀缺的情况下。

在半监督学习框架中，一致性正则化通常涉及以下几个步骤：

1. 无标签数据的扰动：对无标签数据应用轻微扰动，如添加噪声、进行裁剪或旋转等变换。

2. 一致性损失：通过比较模型对原始无标签样本和扰动样本的预测，计算一致性损失。目标是使这两个预测尽可能相似。

3. 损失函数的整合：在模型训练的损失函数中，整合一致性损失和其他损失（如有监督的损失），共同优化模型。

具体知识点参考：[总结] 半监督学习方法: 一致性正则化(Consistency Regularization)-CSDN博客

2、Signed Distance Map（符号距离映射）

        通过计算从二进制分割图中标记为1的每个像素到最近的边界像素的距离，我们可以获得二进制分割掩码的距离图，它提供了关于分割对象的边界，大小，形状和位置的丰富和鲁棒的信息。对于二进制分割掩码，符号距离图（SDM）通常被公式为：

        其中，Ω = {Xi| yi = 1，i ∈ S}是前景的像素集合，Xi是任何点/像素，yi是对应的标签，索引i遍历整个输入图像或对应的分割掩码，并且S是索引集合。同时，我们使用符号“ ∂Ω”来表示边界像素集。在Eq中的中间两项。(1)也需要通过mini-max归一化将归一化为[-1，1]。具体地，SDM的绝对值指示从像素/体素到轮廓上最近的像素/体素的距离，并且符号表示分割目标的内部（-）或外部（+）边界。SDM也是水平集函数的一个通用定义，因此我们将其命名为φ（x）。零意味着点正好在边界上。值得注意的是，当没有前景（=）时，SDM中的每个元素都应该是1，而在其他上下文中，SDM应该通过使用mini-max方法归一化到[-1，1]的范围。

        SDM计算对象的符号距离函数，即体素到对象边界的距离，符号由体素是否在对象内确定。

        因此，它可以被看作是对标记数据的全局形状约束。

        （考虑到SDM可以提供更灵活的对象边界几何度量，我们超越了监督学习方案，通过在未标记数据中通过对比目标提取“边界感知”知识，利用不同对象类别之间几何形状的规律性。 这使得模型能够更有效地学习边界感知特征，鼓励网络在整个数据集上产生具有相似距离图分布的分割图：

SimCVD: Simple Contrastive Voxel-Wise Representation Distillation for Semi-Supervised Medical Image Segmentation）

四、本文提出的方法

        所提出的形状和边界感知模型包括用于提取特征的U或V形主干网络、用于获得粗略像素分割图（PSM）的分支A、用于回归符号距离图（SDM）的分支B以及用于细化PSM的特征融合模块（FFM），如图1所示。首先，分支B负责包含诸如边界和形状的信息的SDM的回归。其次，分支A输出由多尺度损失监督的提取的特征。最后，FFM模块将从分支B提取SDM并从分支A提取特征，其输出最终的PSM。从本质上讲，这是一种由粗到精的策略。

模型概述：

        该模型包括一个U形或V形主干网络提取特征，分支A获得粗略的像素分割图（PSM），分支B回归符号距离图（SDM）和特征融合模块（FFM）细化PSM。在分支A上，我们在骨干的解码阶段对不同尺度特征执行卷积运算，以将通道调整为1，然后将它们上采样（4、2、1倍）为与输入相同的大小。因此，我们从三个不同尺度的特征中获得重新尺度化的特征F1、F2和F3。它们通过Sigmoid运算获得PSM 1，PSM 2和PSM 3，用于多尺度监督学习。然后通过融合F1、F2和F3获得F4和PSM 4。在分支B上，获得的SDM、原始输入和F4按通道级联在一起，馈送到FFA模块，并输出F5，F5与F4融合以用于最终PSM。使用未标记的样本，PSM4，PSM5和SDM之间的一致性正则化可以应用于无监督学习。同时，使用标记样本，在PSM 1、PSM 2、PSM 3、PSM 4、PSM 5和SDM处直接执行监督学习。

        使用未标记的样本，PSM4，PSM5，215和SDM之间的一致性正则化可以应用于无监督学习。同时，使用标记样本，在PSM 1、PSM 2、PSM 3、PSM 4、PSM 5和SDM处直接执行监督学习。

1、 Feature fusion module (FFM)-特征融合模块

        特征融合。。

2、Loss Function

2.1 SDM Loss（回归符号距离损失）

        我们在这里使用L1损失函数，它是预测值和真实的SDM之间的L1差。L1损失可以简单地写为：

其中SDM_pred表示来自分支B的预测SDM，且SDM_gt来自GT二进制掩码。对于多目标分割，我们可以通过将对应于不同二进制分割图的所有L1损失相加来获得L1损失。众所周知，L1损失有时会导致不稳定的训练过程，尽管它对离群值是鲁棒的。

类似地，为了克服L1损失的缺点，我们进一步将联合L1损失与产品损失相结合：

        其中N和C是要分割的所有像素和类别的数量，yi是真实的SDM，pi是预测的SDM，并且eps是防止除以零的小常数。

不难看出，函数具有以下特性：

        

        其中yi和pi具有相同的符号，损失是负值，当两者相等时，损失值将为-1/3。关于单调性，yi和pi之间的差距越小，损失越小。然而，两者之间的绝对值越大，当yi和pi具有不同的符号时，损失越接近于零。当yi = −pi时，损失变为1，这是不合理的。一般来说，对于相同的符号，总损失会减少。此外，他们离得越近，损失就越大。如果符号不同，总损失将增加，即使它的单调性是不合理的。基于上述我们可以得出结论，L1损失通过强调符号的正确性来增强对边界的感知。因此，最终SDM损耗定义为：

        SDM损失更多地涉及零附近的元素，即由SDM表示的边界。因此，它可以改善边界感知。

2.2 PSM Loss(粗略像素分割的损失)

        普普通通

2.3 . Boundary Loss（边界损失）

        识别边界区域需要丰富的底层特征。同时，距离边界较远的区域往往需要丰富的高层语义和少量的底层特征，过多的底层特征会对分割结果产生负面影响。因此，我们在精炼阶段选择性地结合联合收割机低水平梯度。也就是说，我们的方法在细化阶段主要处理边界区域，而在粗化阶段主要处理非边界区域。

        因此，我们应该首先找到边界附近的外部和内部区域之间的过渡区域，如图所示，由红色和橙子曲线包围。理想情况下，边界线正好在两条曲线的中间。我们使用Eq挑选出这个关键区域：

        其中，mask表示二进制掩码映射，Outer表示从边界曲线到红色曲线的黑色区域，Inter是从边界曲线到橙子曲线的白色区域。binary dilation来自著名的python包scipy.ndimage.morphology，它适用于多维数组，如2D，3D图像等。由于默认参数结构为none，因此结构矩阵是多维十字形。参数迭代是膨胀的迭代次数，它也决定了膨胀的宽度，可以用公式表示为Eq.

其中，A_target表示待分割目标区域，A_twhole是整个图像的面积，W_max表示宽度的最大值。

        边界周围二维区域示意图。黑白白色区域分别表示背景和前景区域，即，二值掩模。黑白相间的部分是边界线。在此基础上，利用相同的迭代时间，将白色区域向外膨胀到红线上，将背景区域向内膨胀到橙子线上。因此，很容易使用等式获得红色和橙子边界线之间的环形区域。

        基于上述，我们可以获得边界周围的边界损失，包括环状边界区域Mbound内的Ldice和L梯度。如Eq.10、边界损失仅适用于边界区域，即Mbound，

        后面还有一致性损失跟对抗性损失，跟边界感知关系不大，先略过..........

2.4 Hybrid Loss(混损失)

五、实验效果