【论文笔记】Pairwise Relation Learning for Semi-supervised Gland Segmentation

MICCAI-2020

---

摘要

       本文中，作者提出了基于成对关系的半监督模型$PSR^2$用于组织学图像上的腺体分割。该模型由分割网络（S-Net）和成对关系网络（PR-Net）组成。S-Net在标记数据上进行训练以进行分割，而PR-Net在无监督方式下标记和未标记数据上进行训练，以通过利用特征空间中每对图像之间的语义一致性来增强其图像表示能力。由于两个网络共享它们的编码器，因此PR-Net学习的图像表示能力可以转移到S-Net，以提高其分割性能。作者还设计了对象级Dice损失，以解决因接触腺体而引起的问题，并将其与S-Net的其他两个损失功能结合在一起。实验结果表明，PR-Net和对象级Dice损失的有效性，本文模型在两个基准上均达到了最新的腺体分割性能。

---

贡献

（1）提出了成对关系交互，利用特征空间中每对图像之间的语义一致性，使模型能够无监督地学习语义一致性和图像表示；
【ps：个人感觉这个真的比较突出，大大减少了对标记数据的需求量，这点在医学图像处理中很难得】
（2） 将对象级Dice评价指标转化为损失，并用它来解决接触腺体所带来的问题；
（3）构建的模型在两个基准数据集上实现了最先进的腺体分割性能。

---

一、解决的问题

       手工注释腺体需要专门的知识和高度的专注，而且往往是耗时的。自动腺体分割避免了许多这类问题，但这项任务仍然具有挑战性，主要是因为像素密集注释的训练数据不足，以及相邻腺体之间的小间隙和粘合边。
       尽管基于DCNN的腺体分割方法的性能优于以前的解决方案，但其性能在很大程度上依赖于大量具有像素级标记的训练图像，由于组织学图像的密集注释具有巨大的效率和成本，因此很难获得这些图像。

二、实验方法

       本文提出的模型主要包含两个模块——用于监督腺体分割的S-Net和用于无监督语义关系学习的PR-Net。首先在标记数据集上训练S-Net进行初始化，由于两个网络的编码器共享相同的参数和结构，因而同时初始化了PR-Net的编码器。然后S-Net和PR-Net通过参数共享机制共同在整个训练集（标记+未标记）上进行微调。

1.S-Net

       使用在PASCAL VOC 2012数据集上预先训练的DeepLabv3+模型作为S-Net。并将最后一个卷积层（任务专用层）替换为包含两个输出神经元的卷积层，以预测腺体和背景。该层中的权重被随机初始化，激活被设置为softmax函数。网络的总loss函数如下，

第一项为优化像素级精度的交叉熵损失，优化预测值与真实值交值的Dice损失，第三项为对象级的Dice损失，这一项的设计主要是为了分开接触腺体，计算如公式如下，

$S$和$G$分别代表图中预测的腺体和其在地面真实中对应（重叠）的腺体，$\tilde{S}$和$\tilde{G}$分别代表图中地面真实的腺体和其在预测结果中对应（重叠）的腺体。$n$代表预测的腺体总数，$m$代表地面真实中的腺体总数。公式包含了两个主要项，一个衡量每个预测中腺体与它对应的真实标签中的腺体的重叠程度，另一个衡量每个真实标签中的腺体与其对应的预测中腺体的重叠程度。

2.PR-Net

       利用每对图像之间的语义一致性进行无监督的成对关系学习。这个网络可以分为三部分——图像输入层，用于特征提取的编码器和成对关系模块(PRM)。输入层从整个训练集中随机抽取一对图像作为输入，经过特征提取后分别输出各自的特征图，

其中，$\theta$为权重值，$x_A$和$x_B$为输入图像对。然后PRM中通过特征图计算一致性关系矩阵C，

其中，R(.)表示一个整形函数，该函数用H×W元素将H维和W维压缩成一个一维，而softmax函数将第二维中的元素正则化。$C_{B\to A}$测量$f_B$的第$j$个像素在特征表示空间中与$f_A$对应位置的像素的一致性。该值越大，表明两个像素之间的语义一致性越高。然后通过关系矩阵$C_{B\to A}$和特征图得到$f_A$的注意力图，

最后通过注意力图和输入的特征图的加和操作得到目标突出的特征图$\widetilde{f_A}$。同理，可得到$\widetilde{f_B}$。

       目标突出特征图$\widetilde{f_A}$和$\widetilde{f_B}$都具有$f_A$和$f_B$之间关系信息一致的优点，因此可以作为PR-Net的目标，以增强任何一对图像特征映射的语义一致性。因此，PR-Net的损失函数可以表示为，

其中，$L_{SL1}$代表平滑的$L_1$损失，$\sigma (.)$代表sigmoid函数，$\widetilde{f_A}$和$\widetilde{f_B}$为目标信号值。

3.$PR{S}^2$

       整个网络模型的总损失函数如下，其中$\alpha$作为加权因子控制无监督损失的贡献值。作者采用批大小为5和10的Adam算法分别训练S-Net和PR-Net，并将训练集的20%作为验证集来监控两个网络的性能。初始学习率在初始化步骤中设置为1e-4，在微调步骤中设置为5e-5。

三、实验结果

1.实验数据集

2015年MICCAI腺体分割（GlaS）挑战数据集和大肠腺癌（CRAG）数据集【互相作为已标记和未标记数据集进行实验】

2.实验评估指标

1. 对象级Dice系数（Obj-D），代表描绘每个单独腺体的准确性

2. 对象级F1分数（Obj-F），用于评估检测每个腺体的准确性

3. 对象级Hausdoroff距离（Obj-H），用于测量每个分割的腺体之间的形状相似性及其基本真实性

4. 排名（根据上述三项指标得出的综合值），排名越小性能越好

3.结果分析

       在GlaS数据集上，作者将本文模型与深轮廓感知网络（DCAN）、最小信息损失扩张网络（MILD-Net）、形状感知对抗学习（SADL）模型、旋转等变网络（Rota-Net），全分辨率卷积神经网络（FullNet）和深度分段校正（DSE）模型进行了比较。在CRAG数据集上，作者将本文模型与DCAN、MILD-Net和DSE进行了比较。
       实验结果表明，在GlaS数据集上，本文模型实现了最高的Obj-D、次高的Obj-F和最低的Obj-H。在CRAG数据集上，本文模型实现了最高的Obj-D、最高的Obj-F和最低的Obj-H。两个数据集的结果表明，所提出的性能相对稳健。实验结果表明，在GlaS数据集上，本文模型实现了最高的Obj-D、次高的Obj-F和最低的Obj-H。在CRAG数据集上，本文模型实现了最高的Obj-D、最高的Obj-F和最低的Obj-H。两个数据集的结果表明，所提出的性能相对稳健。

       除此之外，作者还尝试改变数据集中标记数据集所占比例进行了实验。实验结果表明，本文模型在相同性能的情况下对标记数据集的需求量较小，能在小数据集上表现出更好的分割性能。极端条件下，本文模型在保持分割性能的同时，可以使用未标记的数据代替几乎一半的带标签训练图像。
       另外，为了证明所提出的多级分割损失带来的性能增益，作者还尝试用不同的损失函数（包括$L_{Dice}$、$L_{ce}$和$L_{Dice}$+$L_{ce}$）训练S-Net。实验结果表明了多层次损失在Dice和交叉熵组合中的优越性能，证实了使用对象级Dice损失对每个单独腺体施加约束的有效性。

原文献链接.

https://arxiv.org/abs/2008.02699