Unet3+-学习记录

 引入：本次学习内容基本来自于Huimin Huang, Lanfen Lin编写的的《UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation》，以及部分讲解视频，本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。
（一）摘要：Unet3+它利用完整尺度的跳过连接和深度监督。完整尺度的跳过连接可以将低层次的细节信息与不同尺度的特征图的高层次语义信息相结合；而深度监督可以从完整尺度的聚合特征图中学习分层表示。所提出的方法对于在不同尺度上出现的器官尤为有效。除了提高准确性之外，所提出的UNet 3+还可以减少网络参数以提高计算效率。同时，作者还提出了一种混合损失函数，并设计了一个分类引导模块，以增强器官边界并减少非器官图像的过分分割，从而获得更准确的分割结果。

（二）发表时间：2020

（三）关键词：图像分割，医学应用，深度监督，跳跃结构

（四）学习记录：

论文中提到，之前的Unet在医学图像分割中被广泛使用。将多尺度特征组合起来是准确分割的重要因素之一。UNet++是通过设计具有嵌套和密集跳过连接的架构而改进的UNet。然而，它并没有充分利用来自各个尺度的完整信息，仍有很大的改进空间。

Unet3+它利用完整尺度的跳过连接和深度监督。完整尺度的跳过连接可以将低层次的细节信息与不同尺度的特征图的高层次语义信息相结合；而深度监督可以从完整尺度的聚合特征图中学习分层表示。所提出的方法对于在不同尺度上出现的器官尤为有效。除了提高准确性之外，所提出的UNet 3+还可以减少网络参数以提高计算效率。同时，作者还提出了一种混合损失函数，并设计了一个分类引导模块，以增强器官边界并减少非器官图像的过分分割，从而获得更准确的分割结果。

之所以提出Unet3+也是因为作者发现不同尺度的特征图包含不同的信息。低层特征图捕捉到丰富的空间信息，高层特征图包含位置信息。然而，在下采样和上采样过程中，这些信息可能逐渐稀释。为了充分利用多尺度特征，才提出了Unet3+。三代Unet结构如下图。

主要贡献有四个方面：

（1）设计了一种新颖的UNet3+，通过引入全尺度跳过连接充分利用多尺度特征，将来自完整尺度的特征映射中的低级细节和高级语义结合起来，但参数更少；

（2）开发了一种深度监督方法，从完整尺度聚合特征图中学习分层表示，通过优化混合损失函数来增强器官边界；

（3）提出了一个基于分类的模块，通过与图像级分类联合训练，减少非器官图像的过分分割；

（4）在肝脏和脾脏数据集上进行了大量实验，证明UNet 3+相对于一系列基线方法具有持续的改进。

接下来的图展示如何构建特征层。

左方的层依次定义为X1—X5层。图中可以看出，一个特征层的获得来自五个特征层的组合。X1与X2层通过最大池化层，并进行下采样，以便传递底层的低级语义信息。接着对X3层进行卷积操作，X5进行上采样，最后进行结合。

为了从完整尺度的聚合特征图中学习分层表示，UNet 3+进一步采用了全尺度深层监督。与在UNet++中对生成的全分辨率特征图进行深层监督相比，UNet 3+提供了每个解码器阶段的侧输出，并由真值进行监督。为了实现深层监督，每个解码器阶段的最后一层输入到一个普通的3×3卷积层，然后经过双线性上采样和Sigmoid函数。

同时，为了进一步增强器官的边界，作者提出了一种新的损失函数，以赋予模糊边界更高的权重。

作者也提出了一种新的分类模型，旨在预测输入图像是否包含器官。结构如下。

如图所示，在经过一系列操作（包括dropout、卷积、最大池化和Sigmoid函数）后，从最深层的特征图生成了一个二维张量，每个元素表示有或没有器官的概率。借助丰富的语义信息，分类结果可以通过两个步骤进一步指导每个分割侧输出。首先，利用argmax函数，将二维张量转换为单一的 {0,1} 输出，表示是否带有器官。然后，将单一的分类输出与分割侧输出相乘。由于二分类任务的简单性，在二元交叉熵损失函数的优化下，该模块轻松实现准确的分类结果，从而纠正了对非器官图像过分分割的缺点。