语义分割3：U-Net++学习总结

UNet++: A Nested U-Net Architecture for Medical Image Segmentation(UNet++:对于医学图像分割的一个嵌套的U-Net结构)

Abstract

作者在U-Net的基础上推出了更强大的U-Net++，利用具有嵌套、密集跳跃路径的深度监管编码器-解码器网络，弥合U-Net中特征图之间的语义差距，提高分割精度

作者本论文的主要贡献

1. 提出了嵌套、密集跳跃路径（加入了卷积层），弥补了编解码器之间的语义差距
2. 提出了深度监管

问题1：为什么要在优秀的U-Net上再做新的创新（U-Net++）？

①所有编解码器的共性：都是基于跳跃连接的。将来自编码器的浅层的、低级的、细粒度的特征映射与来自解码器的深层的、语义的、粗细粒度的特征映射连接。它是的的确确十分有效的：跳跃连接在解码器的部分可以恢复目标对象的细粒度特征，对于复杂的背景，MaskRCNN基于这个框架可以分割被遮挡的部分。那么为什么要改成嵌套的、密集跳跃连接的深度监管编解码器嘞？

在医学图像中，细小的错误，将会导致无法挽回的问题。如结节周围细微的毛刺图案可能提示结节恶性;因此，从临床角度来看，将它们排除在分割掩模之外会降低模型的可信度。而U-Net不能做到这个程度，所以需要设计一个能够更有效恢复医学图像目标物体的精细细节。

作者认为来自解码器和编码器网络的特征映射在语义上相似时，网络将更容易处理学习任务。先前的架构都是倾向融合不同语义的特征映射，在实验中证明这么做会降低分割性能。

1.网络结构

1.1Re-designed skip pathways

与U-Net的跳跃连接不同，U-Net++的跳跃连接是这样的（有一点点复杂）：

编码器节点、解码器节点之间的跳跃路径由多个密集的卷积块（上图中绿色的圆形的x^ij）组成，每个卷积块前都有一个连接层（蓝色、黑色虚线箭头），这个连接层将所在的密集块前一个卷积层的输出、当前路径上编码器卷积层的相应映射、下一等级的密集快相应的上采样融合在一起。

如此跳跃连接的设计，使编码器特征映射的语义级别更接近解码器中等待的特征映射，让优化器更容易地优化问题。

跳跃连接的公式化定义

xij是节点Xij的输出，i是沿着编码器下采样层的索引，j是密集块沿着跳跃路径的卷积层索引。

H（·）是跟随一个激活函数的卷积操作，u（·）是上采样层（通过卷积进行上采样），[ ]是连接层

1.2Deep supervision

设计了两种模型运行模式：1）accurate mode 2)fast mode

1)精确模式：对来自所有分割分支的输出进行平均

2)快速模式：最终分割图仅从一个分割分支中选择

其中U-Net++获得了全分辨率在多尺度语义等级上，{x0,j, j ∈ {1, 2, 3, 4}}是用来深度监管的，并在这四个语义等级上加入了交叉熵损失+DICE作为损失函数。

2.U-Net++的缺点

• 有多次上采样步骤（卷积），带来比U-Net大很多的计算量