UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation论文译读笔记

摘要

许多医学图像分割的SOTA模型都是UNet网络和FCN网络的变体。尽管这些模型十分成功，但仍然有两个限制：（1）这些模型的最佳深度是先验未知的（即网络深度是无法预知的超参数），需要广泛的架构搜索或者不同深度模型的低效集成；（2）这些模型的跳跃连接强制实行不必要的限制性融合框架，仅在编码器和解码器子网络中相同尺度的特征图上强制进行聚合。为了克服这两个限制，文章提出了UNet++模型，一种新的语义分割和实例分割的神经网络架构：（1）通过不同深度UNet的有效集成来减轻位置网络的深度，这些UNet会部分共享一个编码器并同时使用深度监督一起共同学习；（2）重新设计解码器子网络中的跳跃连接，来聚合不同语义尺度的特征，从而形成高度灵活的特征融合框架；（3）设计一种剪枝方法加快UNet++模型的推理速度。文章使用了六种不同的医学图像分割数据集来对UNet++模型进行评测，包括了多种成像模态例如：computed tomography (CT)、magnetic resonance imaging (MRI)和 electron microscopy (EM)，结果表明：（1）在不同数据集，以及使用不同主干网络架构时，UNet++模型始终优于基线模型；（2）UNet++可以增强不同大小目标的分割质量——对固定深度UNet的改进；（3）对于实例分割任务，Mask RCNN++（使用UNet++设计的Mask RCNN模型）由于原有的Mask RCNN模型；（4）剪枝的UNet++模型实现了显著的速度提升，同时仅表现出些许的性能下降。UNet++的实现和预训练模型位于https://github.com\/MrGiovanni/UNetPlusPlus。

引言

Encoder-decoder网络在如今的语义分割和实例分割模型中十分常见【ZhouDeepMedical, ShenDeepMedical,Litjens2017Survey, Chartrand2017Radiologists, UNet, Tajbakhsh2020Embracing】。这些模型的成功很大程度上归功于跳跃连接，它结合了来自解码器子网络的深层、语义、粗粒度的特征图和来自编码器子网络的浅层、低级、细粒度的特征图，并且已经证明即使在复杂的背景中【10_HariharanHypercolumns2015, 11_FPN】，也能有效地恢复目标对象的细粒度细节【7_Drozdzal2016Skip, 8_ResNet, 9_DenseNet】。跳跃连接在实例级分割模型中也发挥了关键的作用，例如【12_MaskRCNN,13_HuSeg2018】，其中的想法是分割和区分所需对象的每个实例。
  然而，这些用于图像分割的encoder-decoder架构有两个限制。首先，encoder-decoder网络的最佳深度可能会随着不同的应用而变化，这取决于任务难度以及可供训练的标注数据的数量。简单的做法是分别训练多个不同深度的模型，然后在推理时将这些模型的结果进行ensemble（集成）【14_DietterichEnsemble2000, 15_ShinCAD2016, 16_CiompiAutomatic2015】。然而，这种简单的做法从开发的角度看效率不高，因为这些网络没有能够共用一个编码器。而且，在独立训练的情况下，这些网络无法享受多任务学习的收益\cite{17_BengioLearning2009,18_ZhangSurvey2017}。其次，用于encoder-decoder网络中跳跃连接的设计具有不必要的限制，要求编码器和解码器中相同尺度的特征图进行融合。虽然这种自然的设计引人注目，但是来自编码器和解码器中相同尺度的特征图不具有语义相似性，并且没有可靠的理论保证两者是特征融合的最佳配对。