翻译：Semi-supervised Medical Image Segmentation through Dual-task Consistency

Semi-supervised Medical Image Segmentation through Dual-task Consistency（基于双任务一致性的半监督医学图像分割）

• 文献：Semi-supervised Medical Image Segmentation through Dual-task Consistency

• 主题：Semi-supervised、Dual-task Consistency

Abstract

1. 想解决什么问题？question
现有的半监督学习（SSL）算法大多倾向于通过扰动网络和/或数据来规范模型训练。观察到多/双任务学习涉及到具有内在预测扰动的不同层次的信息，我们在这项工作中提出了一个问题：我们是否可以显式地构建任务层次的正则化，而不是隐式地构建网络和/或数据层次的扰动，然后对SSL进行正则化。

2. 通过什么理论/模型来解决这个问题？method
新的双任务一致性半监督框架

3. 作者给出的答案是什么？answer
使用一个双任务深度网络来联合预测一个像素级的分割图和一个几何感知的目标水平集表示。水平集表示通过可微任务转换层转换为近似的分割图。同时，我们在水平集导出的分割映射和直接预测的分割映射之间引入了一种双任务一致性正则化方法。

Introduction

1. 为什么研究这个课题？
了解到所讨论的SSL工作的本质是通过损失函数中的正则化项来加强对未标记数据的预测的一致性。

我们观察到，在训练过程中，来自不同任务分支的不同层次的信息可以相互补充，而不同的焦点可以导致内在的预测扰动。

然后我们提出了在这项工作中最重要的问题：我们能显式地建立完全不同于以往的数据级正则化的任务级正则化吗？显然，答案是肯定的，前提是不同任务分支的输出应映射/转换到相同的预定义空间，在该空间中，我们能够显式地执行两个预测映射之间的一致性正则化。

2. 目前这个课题的研究进行到了哪一阶段？(存在问题、待解决问题)
半监督医学图像分割：我们的方法利用了几何约束和双任务一致性

一致性正则化：之前的工作只考虑了输入在不同扰动和变换下的一致性，忽略了不同任务的一致性。另外，这些方法需要进行两次或两次以上的前向传递来计算一致性损失，这增加了计算量和运行时间。

我们的框架旨在通过最小化网络中两个任务之间的一致性来利用未标记数据，该框架考虑了不同任务之间的差异，只需进行一次推理。据我们所知，我们的工作是第一个建立半监督学习的任务一致性约束。

3. 理论是基于哪些假设？
我们提出了一种新的用于半监督医学图像分割的双任务一致性模型。我们的主要思想是建立全局水平集函数回归任务和像素分类任务之间的一致性，以考虑几何约束并利用未标记的数据。

该框架由三部分组成：
（1）第一部分是双任务分割网络。具体来说，我们将分割问题建模为两种不同的表示（任务）：预测一个像素级分类图和获得一个全局水平集函数，其中零水平let是分割轮廓。我们使用一个双分支网络来预测这两种表示, 并且使用CNN来预测水平集函数是受（Ma et al.2020；Ma，He，and Yang 2020；Xue et al.2020）的启发，将全局信息和几何约束嵌入到网络中以获得更好的性能。
（2）该框架的第二部分是可微任务转换层。我们使用平滑的Heaviside层（Xue等人，2020）以可微的方式将水平集函数转换为分割概率图。
（3）第三部分是有监督和无监督学习的组合损失函数，我们设计了一个双任务一致性损失函数，以最小化预测的像素分割概率图和由水平函数转换的概率图之间的差异，它既能提高完全监督学习的性能，又能有效地利用未标记数据进行无监督学习。

Methods

1. 研究方法？原理？实验设计？

概述了提出的用于半监督医学图像分割的双任务一致性框架。该网络由像素分类头（task1）和水平集函数回归头（task2）组成，水平集函数回归头采用广泛使用的编码器-解码器网络作为背景，即VNet（milleri、Navab和hmadi2016）。该模型通过最小化监督损失来优化，包括在标记数据上的监督损失L_dice、L_LSF，以及未标记数据和标记数据上的双任务一致性损失L_DTC。利用T函数将 ground truth label 映射转化为水平集表示，用于监督训练。T−1函数将水平集函数转换为概率图，以计算L_DTC。

在这一部分中，我们将介绍我们提出的基于双任务一致性的半监督医学图像框架。总体框架如图1所示，它由两个头部组成，一个是用于像素概率图的分类头部，另一个是用于目标水平集表示的回归头部。分割网络以三维医学图像为输入，同时预测水平集函数和像素概率图。由于分割结果可以用像素级标签图和与水平集函数相关的高水平等高线来表示，这两种预测对于分割任务来说应该是一致的。

双任务一致性
我们在像素级分类任务（定义为task1）和级别集回归任务（定义为task2）之间实施任务级一致性。在现有的工作中，像素分类分割已经得到了广泛的研究，而水平集函数（Li et al.2005）是一项传统的任务，它可以捕获几何活动轮廓和距离信息。

2. 创新点
为了利用未标记数据，我们提出了一种新的双任务一致性策略，该策略通过最小化预测的像素标签和水平集函数之间的差异来学习未标记数据。为了建立一致性，利用变换层将水平集函数转化为像素级概率图，并用平滑的Heaviside函数实现。

我们的框架旨在通过最小化网络中两个任务之间的一致性来利用未标记数据，该框架考虑了不同任务之间的差异，只需进行一次推理。据我们所知，我们的工作是第一个建立半监督学习的任务一致性约束。

Experiments and Results

1. 数据来源
MRI左心房分割和CT胰腺分割

2. 实施细节和重要指标
我们使用nvidia1080ti gpu在PyTorch（Paszke等人，2019）中实现了我们的框架。
在这项工作中，我们使用VNet（Milletari、Navab和Ahmadi 2016）作为所有实验的主干，并通过在原始VNet的末尾添加新的回归层来实现双任务VNet。
该框架由SGD优化器训练6000次迭代，初始学习率（lr）为0.01，每2500次迭代衰减0.1。批量大小为4，由2个标记图像和2个未标记图像组成。
在这项工作中，k的值被设置为1500。随机选取112×112×80（3D-MRI左心房）和96×96×96（3D-CT胰腺）作为网络输入。
为了避免过度拟合，我们在训练阶段使用了标准的动态数据增强方法（Yu等人，2019年）。
注意，在这项工作中，水平集函数是在训练阶段之前生成的，因为水平集函数是变换不变的，这大大加快了训练过程。在推理阶段，我们采用滑动窗口策略得到最终结果，左心房步幅为18×18×4，胰腺步幅为16×16×16。
在推理时，我们使用像素分类分支的输出作为分割结果。
为了公平比较，我们不使用任何后处理或集成方法。
接下来（Yu et al.2019），我们使用四个指标来定量评估我们的方法，包括Dice、Jaccard、平均表面距离（ASD）和95%Hausdorff距离（95HD）

图4中，可以观察到，在不同的标记数据设置下，半监督方法的性能始终优于监督方法，这表明我们的方法有效地利用了未标记数据并带来了性能增益。研究还发现，随着标记图像的增多，全监督方法与半监督方法的性能差距逐渐缩小，这符合常识。在标记数据较少的情况下，我们的方法也能获得比完全监督方法更好的分割结果

表一结果表明，水平集函数回归有助于医学图像分割。我们还可以观察到，双任务一致性在12个标记扫描和62个标记扫描上一致地提高了双任务VNet的性能。

我们的实验证明，我们的方法在精度、网络参数和计算成本方面都达到了最佳。

Conclusion

1. 论文的构思有哪几点？
本文提出了一种新颖简单的基于双任务一致性的半监督医学图像分割框架，它是一种基于任务级一致性的半监督分割框架。我们使用一个双任务网络，同时预测一个像素级分类图和一个水平集表示的分割，能够捕捉全局水平的形状和几何信息。为了建立一个半监督训练框架，我们通过一个任务转换层来实现分类图预测和LSF预测之间的双任务一致性。
在MR扫描的左心房数据集和CT扫描的胰腺数据集两个三维医学图像数据集上，我们获得了最新的结果。优越的性能证明了该框架的有效性、鲁棒性和通用性。在这项工作中，我们专注于单类分割来简化表示。然而，我们的方法以一种简单的方式扩展到多类情况。

2. 改进或缺陷？
此外，只要两个任务之间存在可微变换，我们提出的方法可以很容易地扩展到使用额外的任务，例如边缘提取（Zhen et al.2020）和关键点估计（Cheng et al.2020）。我们也希望能启发整个计算机视觉界，因为可以在许多方向上以半监督的方式构建任务一致性，例如双流视频识别（Simonyan and Zisserman 2014）、多任务图像重建（Zamir et al.2018、2020）等，以利用大量未标记的数据。在未来，我们将把这种方法推广到更多的计算机视觉应用中，以减少标记的工作量，并进一步研究融合策略，以整合所有不同任务的预测结果以获得更好的性能。