Semi-supervised Learning for Network-Based Cardiac MR Image Segmentation

注：文章中给了GitHub上的源码

摘要：训练一个完全卷积网络的 pixel-wise像素明智（或体素明智）图像分割通常需要大量的训练图像与相应的groundtruth label maps。然而，在医学成像领域获得如此大的训练集是一项挑战，其中专家注释耗时且难以获得。在本文中，我们提出了一种半监督学习方法，其中分割网络是从标记和未标记的数据进行训练。未标记数据的网络参数和分割交替更新。在短轴心脏MR图像分割做评估。它已经证明了高性能，超越基线监督的方法。

1.介绍

近年来深度学习的发展，特别是完全卷积网络的提出（FCN）[8]极大地提高了在语义图像的分割最新水平。semantic image segmentation

全卷积网络具有提供端到端的优势，实现了端到端的训练，实现了自然图像分段的高精度，[5]。这样的网络由数百万个参数和学习组成

这些参数需要一个大的训练集，它是由一对训练组成的图像和相应的像素方式的标签图 pixel-wiselabel maps。然而，在医学成像领域，由于若干原因，获得如此大的训练集是一个重大挑战。 首先，征聘能够可靠地注释医学图像的专家是不容易的。 其次，准确的按像素标注是耗时且乏味的。第三，有各种形式和成像协议，一个研究生成的训练集可能不容易转移到另一个研究。

为了解决这个挑战，我们提出了一个半监督的学习方法基于网络的医学图像分割，其中分割网络是从有标签和无标签数据进行训练的，所以需要大量的训练集得到缓解。该方法适用于心脏MR图像的任务分割，这是量化心室容量的重要步骤评估心脏功能。实验结果表明提出的方法与基线相比有效地提高了分割的准确性方法只利用标记的数据。它实现了高性能左心室和右心室分割。 此外，它的性能优于最先进的技术，在精度和速度上都是最先进的多图分割方法。

1.1Related Works

很多作品提出了使用FCN进行医学图像分割[3,4,12]。对于心脏MR图像分割，FCN和其他网络体系结构具有也被探讨[1,9,11,16,17]。

 大多数这些方法学习图像特征从精细到粗糙的鳞片使用卷积和合并，然后结合起来

多尺度特征来预测像素或体素明智的标签图。 这些网络通常以完全监督的方式进行训练。这项工作的贡献是我们已经开发了一个半监督的方式来训练网络不仅可以使用标记图像，而且可以使用未标记的图像进行训练

2Methods

2.1Semi-supervised Learning

 

在监督设置下，制定分割模型的估计   就是以下损失函数的优化问题

其中 j 表示像素索引，P（y i，j | x i，Θ）是所提供的 softmax 概率，softmax 是一个多分类函数。L（Θ）是交叉熵损失函数。这个损失函数被定义在被标记的集合S L上，并通常使用SGD随机梯度下降进行优化。

在半监督设置里，介绍未标签的Su的优化问题。

右边第二项是未标记集合的交叉熵 λ 是这个集合的权重。 损失函数需要进行优化网络参数Θ和未知标签映射Y U。

通过交替更新来解决这个问题。

1.    Θ帽固定，估计Y U帽，这样就只有第二项被优化 ，这个网络就相当于当前网络仅针对未标签的数据

2.    Y U帽固定，估计Θ帽，这就需要用到二者

Θ 的初始值是通过仅在Y L上训练网络for a number of epochs。步骤1通过计算来自网络的softmax 概率并部署条件随机场来执行（CRF）[6]从概率图估计一个细化的分割。第2步是通过使用SGD来优化交叉熵损失函数来执行的，类似监督学习。我们在这两个步骤之间迭代交替希望在每次迭代之后，网络参数得到改善。

2.2 Conditional Random Field (CRF)

在迭代方法期间，使用CRF来提炼未标记数据的分割。 CRF优化用以下能量函数：

 

 

其中第一项θj（yj）= -logP（yj）是一个鼓励输出忠于softmax概率的一元势，第二项θj，k（yj，yk）是像素 j 和像素 k 上的标签之间的配对电势。

其中，如果y（j）不等于 y k，则μ（y j，y k）= 1，否则为0。这个术语惩罚像素相似的位置p和强度x但是具有不同的标签y。 CRF可以提高网络的本地化属性，并细分割如[6]所示。

2.3 Network Architecture

我们使用完全卷积网络架构，如图1所示。它是改编自VGG-16网络[14]，类似于所用的DeepLab架构在[5]中。主要区别在于DeepLab预测由下采样的标签映射8倍，而我们的网络预测原始分辨率的标签地图。在网络中，每个卷积层之后是批量归一化和ReLu，除了最后一个之外，紧接着是softmax函数。每一次之后两个或三个卷积层，在卷积中使用2的步幅来下行，对特征图进行采样以便以更全球的尺度学习特征。特征使用双线性插值法对不同尺度的地图进行上采样到原始分辨率，然后使用连接层进行组合。最后，使用内核大小为1×1的卷积层来生成softmax prob-用于像素分割的K类的能力图。必须注意我们的这项工作的主要重点是调查的半监督学习的思想和其他网络体系结构也可以用于分割。

3 Experiments and Results

3.1 Data andPre-processing

使用来自英国生物银行研究的短轴心脏MR图像进行实验，具有典型的图像分辨率1.8×1.8×10.0mm3。由于短轴切片之间的大间距和可能的切片间偏移引起通过呼吸运动，我们使用二维卷积网络并分割每个切片，单独地，类似于人将如何注释图像。由专家手动分割左心室（LV），肌肉和右心室共100个subjects，每个subject都包含一个舒张末期和收缩末期，手动分割每个subject需要大约20分钟，每个subject在两个时间帧中包含10到12个分片，100人中有20人作为测试集。 20个测试对象是也由相同的专家手动分段两次以评估内部观察者的可变性。其他80个subject和一些未标记的subject是用于训练。

实验用两种训练设置：拿20个有标签的数据（422张切片），60个无标签的数据（1208张切片）；

80个有标签的数据（1630张切片），240个无标签的数据（4790张切片）.

为了预处理，所有的训练图像被裁剪成相同的尺寸224×224，强度归一化到[0,1]范围内，随机洗牌被馈送到网络。 不执行强度不均匀性校正。

3.2Parameters

对于SGD，使用20个小批量和0.001个学习率。 数据增强是在 on-the-fly 中进行的，包括随机翻译，旋转，缩放和强度重新缩放。

The parametersfor CRF were w 1 = 1, w 2 =2, σ α = 0.5, σ β = 1, σ γ = 1. 这些值是通过评估小验证集上的分割性能来选择的。

为了初始化半监督学习，网络在有标签的训练数据上训练500个epoch 的监督方式进行，直到损失函数的变化为最小，这个CRF细化的网络被认为是基准方法,对于半监督学习，我们对3次迭代执行了交替优化，每次迭代100次。我们发现3次迭代后的性能改善可以忽略不计。在未标记的数据交叉熵项中，我们测试了两个值0.5和1.0，并且发现λ= 1.0稍微好一些，所以采用这个值

该方法使用Python和Theano [15]实现。就......而言计算时间大约需要10个小时来训练网络100个时期在Nvidia Tesla K80 GPU上，有20个标记数据和60个未标记数据用过的。 训练了100个纪元大约需要35个小时，当时有80个标记的数据和使用了240个未标记的数据。 当训练有素的网络部署，它花了大约6s来分割在ED和ES处的一个对象的所有图像切片。

3.3 Evaluationof Segmentation Performance

通过计算三种结构（LV腔，LV心肌和RV腔）的自动分割和专家手动分割之间的Dice重叠度量分割性能。报告ED和ES时间帧的平均Dice度量。

首先，我们评估半监督学习的影响。 表1比较了基线监督学习的分割性能方法和所提出的半监督学习方法。这表明，如果使用相同数量的标记数据，半监督学习通常提高性能。值得注意的是 RV Dice没有提高，这可能是因为当大量的训练数据可用时，网络已经可以被训练好，因此半监督学习所带来的改进变得很少。

我们还将所提出的方法的性能与公开可用的基于多图谱的分割方法1 [2]以及人类专家的观察者内变异性进行比较。对于多图集分割，我们使用相同的80个标记的数据作为地图集，使用非刚性图像配准来扭曲地图集[13]和互相关作为基于地块的标签融合的相似性度量。

图2比较了同一观察者的两次手动分割，多图集分割和提出的方法。多图集和所提出的方法在分割LV和心肌方面做得很好。

然而，多图集方法在错误地分段RV，可能是因为RV心肌的微弱对比导致较少对atlas registration的最佳目标。

另外还做了一个实验：比较三种在一张片子的正确率和时间，如下：

很明显，第一种方法特别费时间。

4 Conclusion and Discussion

在本文中，我们提出了一种新的，半监督和基于网络的方法用于心脏MR图像分割。 主要贡献是我们提出一个半监督的方式来训练网络以解决重大挑战，图像分割，训练数据的数量有限。我们已经表明引入未标记的数据会导致分段数据的改进，尤其是当现有训练集的规模较小时。我们也表明，这种方法胜过了最先进的多图集分割方法。 一旦网络被训练，只需要几秒钟分割一个主题。因此，它可以有效地分析大型心脏MR图像集，例如英国生物银行数据集，最终将包括在内十万个科目。

对于未来的工作，我们有兴趣提高自动化的质量用于未标记数据的分段。 目前的做法的一个缺点是如果在初始分段中出现错误或偏差（过分或欠分段）未标记的数据，错误将被网络学习到以下迭代。这种负面影响目前通过提炼而得到缓解使用CRF进行分割，并假定大部分自动分类交配分割是正确的，所以网络学习的平均梯度仍然是大致正确的。我们有兴趣探索使用水平集来改进如[9]中的分割和用最小的人工分割来校正分割，干预。另一个有趣的方向是纳入分割不确定性估计为半监督学习。