基于深度学习的医学图像分割学习笔记（九）UNet 3+

UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation

原文链接
代码
dateset：131例腹部增强CT(3D)用于肝脏分割和49例脾脏数据集

---

融合多尺度的特征是实现精确分割的重要因素之一。UNet++没有从全尺度上探索足够信息，本文提出了UNet3+，重新设计跳跃连接，利用full-scale跳跃连接和深度监督。full-scale跳跃连接结合了来自不同尺度的特征图的低级细节和高级语义，深度监督从full-scale聚合特征图中学习层次表示。与Unet++相比，UNet3+提高了精确率，同时减少了网络参数。此外本文提出了一种混合损失函数，设计了一个分类引导模块增强器官边界，减少过分割。

1.Full-scale Skip Connections

重新设计编码器和解码器之间的相互连接和解码器子网之间的内部连接，UNet3+中的每个解码器层都包含了编码器的小尺度和同尺度的特征映射，以及解码器的大尺度特征映射，在全尺度上捕获粗粒度的细节和细粒度的语义。
$X^3$${}_{De}$的特征图的构成：

用公式表示跳跃连接，$X^i$${}_{De}$的特征图可表示为：

其中$C(\cdot )$表示卷积操作，$H(\cdot )$表示feature aggregation mechanism，$D(\cdot )$和$U(\cdot )$分别表示下采样和上采样操作，$[\cdot ]$表示concatenation。

2.Full-scale Deep Supervision

为实现深度监督，将每个解码器阶段的最后一层送入一个3×3的卷积层，紧接着是一个双线性上采样和一个sigmoid函数。为了进一步增强器官边界，提出多尺度结构相似度指数（MS-SSIM）损失函数，为模糊边界赋予更高的权重。
MS-SSIM损失：P是分割结果，G是ground truth。（具体看论文Multiscale structural similarity for image quality assessment）

结合focal loss，MS-SSIM loss和IOU loss，最终的混合损失函数为：

3.Classification-guided Module

在医学图像分割中，非器官图像出现假阳性是不可避免的（非器官图像出现假阳性：三维图像以切片的形式送入网络，可能有的切片上没有器官区域，但网络还是分割了出来？？？）。为进行精确分割，增加一个额外的分类任务解决上述问题。

实现细节
网络是2D的，slice by slice的方式进行分割，将输入的切片的尺寸裁剪为320×320。
输出图像包含3个通道，分别是待分割切片和其上下切片。
利用随机梯度下降对网络进行优化。