Removing segmentation inconsistencies with semi-supervised non-adjacency constraint

导读

半监督：基于少量人工标记的深度学习医学图像分割
请查看这篇博客的介绍：https://blog.csdn.net/weixin_43876801/article/details/103152102

原论文下载地址：
https://sciencedirect.xilesou.top/science/article/pii/S1361841519300866

NonAdjLoss training is available at：
https://github.com/trypag/NonAdjLoss

理解不准确的地方，欢迎下方评论区留言交流指正。

用半监督非邻接约束消除分割不一致

摘要：

深度学习的出现将医学图像分析推向了新的水平，迅速取代了更多传统的机器学习和计算机视觉管道。然而，由于外观变化、成像伪影、注释数据的稀缺性和可变性以及充分利用诸如关于区域间关系的解剖学知识等领域约束的困难，对解剖区域进行分割和标记仍然具有挑战性。我们解决了最后一点，通过引入NonAdjLoss改善网络的区域标记一致性，NonAdjLoss是一种基于邻接图的辅助训练损失，它惩罚包含具有解剖学上不正确的邻接关系的区域的输出。NonAdjLoss支持全监督训练和半监督扩展，在半监督扩展中将其应用于未标记的补充训练数据。该方法大大减少了MICCAI-2012、IBSRv2脑MRI数据集和Anatomy3全身CT数据集上的分段异常，特别是当包括半监督训练时。

介绍：

本文的贡献可概括如下：

• 提出了一种新的方法，通过惩罚对解剖区域之间已知邻接关系的违反来减少分割异常的数量。我们使用了一个受Roy等人启发的2D编解码器模型(2017)。但在微调过程中，我们用名为NonAdjLoss的原始、完全可区分的结构邻接损失增加了其基于标签的分段损失(Dice or cross-entropy)。
• 表明非邻接惩罚也可以以半监督的方式使用，用额外的未标记图像补充带注释的训练数据，以在不损害精度的情况下提高泛化能力。
• 探索一种架构变化，将原始2D分割方法的范围扩展到3D，同时重新制定NonAdjLoss以考虑区域之间的空间安排。
• 表明本文的方法显著减少了两个神经成像数据集(MICCAI 2012 Landman和IBSR V2Worth)和多器官数据集Anatomy3上的分割异常值(Jimenez-del-Toro等人，2016)。将这种改进归功于非AdjLoss和半监督训练。

方法：

1.编解码器体系结构

我们的第一个CNN架构是一个受Roy等人启发的编码器-解码器(2017)。这个网络(图1)取7个连续的2D切片作为输入，并使用这些切片来分割中间的切片。附加切片带来关于中心切片的上下文信息，提高了整体鲁棒性。该网络是由四个2×下采样层(编码路径)组成的U-Net，后面是基于max-unpooling(解编码路径)的四个上采样步骤。每个解码层还具有与对应的编码层的直接连接。

fig.1：2D图像分割流程。给出七个相邻切片作为神经网络的输入，神经网络仅输出中心切片的标签映射。使用完全卷积U-Net编解码器体系结构来获得快速的逐片体积分割。该网络有大约300万个参数

2.解剖邻接矩阵

我们假设所有受试者将具有相同的解剖邻接，从而具有区域间连通性，即使它们的区域几何形状可能不同。在图像中，每对区域i和j之间的邻接关系可以由邻接矩阵A表示，其中Aij是标记为i和j的注释段之间的边界上的体素的总数。


fig 2 二元邻接矩阵˜A ij。蓝色表示3×3×3邻域中结构之间的邻接。

3.训练具有邻接约束的分段网络

邻接函数


半监督学习的扩展

图3.半监督方案的全局概述，其中网络参数w在带注释的图像上使用L seg和NonAdjLoss进行优化，而在未注释的图像上仅使用L graph进行优化。

Fig. 4. The configuration of the last convolution block for the 2.5D architecture. The final convolution is converted into 3 parallel convolutions, generating 3 distinct maps.

实验中使用的三个脑MRI数据集的特征：患者数量、标签、训练图像、验证图像和测试图像。OASIS数据集完全由未注记的图像组成

实验结果：

下面的两个表中给出了NonAdjLoss方法的结果，其中 Baseline表示未使用NonAdjLoss进行训练的模型（Dice and cross-entropy losses）；NonAdjLoss（n）表示使用NonAdjLoss训练的模型，并使用了n例未标注的数据。


图5. 来自MICCAI12数据集的两个对象的分割地图，从左到右：ground truth，仅基于L seg损失的模型，包括具有半监督的NonAdjLoss的模型。红色框突出显示解剖不一致被纠正的区域。

图6 二进制输出类邻接矩阵汇总MICCAI 2012(顶行)和IBSRv2(底行)数据集上任何位置的邻接关系。蓝色表示正确的邻接，红色表示禁止的邻接。从左到右的方法是：(I)没有NonAdjLoss的2D；(Ii)具有NonAdjLoss的2D；(Ii)具有NonAdjLoss和半监督的2D；(Iv)具有融合的2.5D；(V)具有融合和半监督的2.5D。我们报告平均得分±标准差。

图7. 使用在MICCAI12上训练的各种模型，来自OASIS的30个测试图像上每个解剖区域的一些说明性非邻接统计数据。没有错误的区域的日志总邻接错误计数被设置为−14。对于Hausdorff距离，点直径与其标准偏差成正比。区域按基线上的(左)误差频率和NonAdjLoss(0)上的(中心)Hausdorff距离排序。

总结：

本文引入了NonAdjLoss，一种支持解剖学分割中已知禁止区域邻接的损失约束。仅改变了网络训练过程：底层网络体系结构保持不变，并且在推理过程中没有额外的成本。虽然该方法对dice分割质量评分影响不大，但明显改善了Hausdorff距离、平均表面距离和连通性度量。对于复杂的解剖分割问题，例如皮质区域标记，应该特别有价值，因为增加解剖区域的数量也会增加活动约束的数量。该方法在训练期间处理部分未注释数据的能力是另一个主要优点，允许在更大的数据集上训练模型。

启发：

本文的这个创新点让我们认识到仅凭某种先验规则就可以设计损失函数并用于无标签数据的训练。当然还是有需要有一小部分的标签。小编预想今后基于各种先验规则的方法将大量出现，从而对医学图像分割的标签困难问题得到良好的解决。

注：小编水平有限，理解不对地方还请路过的大佬们下方留言区批评指正，谢谢。