深度网络图像大小不一致_MICCAI 2019 : 基于头颈部CT图像的，不均衡的大小器官的，端到端分割神经网络...

最近在尝试医学图像的分割任务，但是发现要分割的部分和背景尺寸有较大的差异时，传统的分割方法并不能取得较好的效果，看到了一篇解决不均衡问题的文章，做一下笔记，有错误遗漏之处欢迎评论区讨论。原文连接如下

https://arxiv.org/pdf/1907.12056.pdf​arxiv.org

---

背景

头颈部的CT图像存在大量的器官和组织且大器官和小器官间的尺寸差异十分严重，例如paper中提到

the smallest organ, lens, only occupy 0.0028% of the whole 3D volume

晶状体在整个3D图像中只占极小的比例，共计18种organ-at-risk(高危器官)的比例如下：

18种高危器官的比例图

---

提出的方法

类似于影像医生先找大体区域，放大后再仔细标注的思路，作者设计了基于自动定位，关注区域池化，小器官分割机制的端到端的分割网络，作者称之为Focus-Net。

整体网络结构图如下

Focus-Net结构图

分为三部分：

1. Main Segmentation Net（S-Net）

即上图中蓝色框框内，对输入的3D图像进行特征提取和大器官的分割，使用了“魔改”的U-Net结构，具体结构如下：

主要的改变有：

1. 只进行一次下采样操作，避免下采样造成的信息的损失（要分割部分区域较小，信息损失后影响分割结果）

2. 采用Dense ASPP（atrous spatial pyramid pooling），空洞卷积（atrous convolution）解决增大感受野的同时不损失信息的问题+空间金字塔池化（SPP）实现多尺度信息结合，同时稠密连接起到了缓解梯度消失，鼓励特征复用的作用。

3. 将U-Net中普通的卷积层换成了带有SEBlock的SEResBlock（Squeeze and excitation residual block），加强整体网络的特征抽象能力。有关SEBlock的细节可以看下面的解析

如何评价Momenta ImageNet 2017夺冠架构SENet?​www.zhihu.com

ps:其中有一个细节还不是很清楚，就是在上采样的时候（图中深绿色箭头）卷积的stride=1/2，卷积的stride<1表示对图像进行放大操作，但是不清楚具体的操作是什么样的，paper也未提及。

2.Small Organ Localization Net( SOL-Net)

使用S-Net提取的feature map作为输入，以小器官区域的中心区域热力图作为target来学习小器官区域的位置概率图，包含两个SEResBlock，1*1*1的卷积层（激活函数为sigmoid），损失函数选择MSE。（这里原文没有详细介绍，小区域的中心热力图应该是提前准备的数据）

3.Small organ Segmentation(SOS-Net)

根据SOL-Net生成的位置概率图得到小器官区域的位置，然后进行ROI-pooling，ROI的边长设定为小器官区域直径的三倍。

将S-Net的输出，原图，S-Net第一个卷积层得到的feature map 和小区域和上步操作生成的小器官区域概率图进行ROI-Pooling和concanate作为SOS-Net的输入，网络设置为两个SEResBlock，1*1*1的卷积层

将得到大器官的分割结果和小器官区域的分割结果进行整合得到最终结果

损失函数

结合focal loss 和dice loss

---

实验结果

四种方法的分割结果

对比深度学习的结果（除去Atlas），DeepLab V3+的视神经明显要比GT粗（粉色部分），视交叉部分，Focus-Net效果最好，有呈现X状；SEResNet只有中央区域，由于U-Net的多次下采样会丢失信息，这里有很好的的体现。

四种方法的DSC比较

Focus-Net的效果显然要优于增加SEResBlock的U-Net

DeepLab的大器官分割效果较为不错，但是Focus-Net在大器官的效果好的同时，小器官的方面也是大幅好于DeepLab

这里作者比较了多种因素对于网络效果的影响

1.损失函数的对比

较cross-entropy相比，focal loss提升了4个百分点，focal + dice loss提升九个百分点，提升效果明显

2.下采样次数的对比

效果涨幅不算太大，其中使用一次下采样的效果最好，所以作者在S-Net中选择了只下采样一次

3.网络参数量的对比

Fat U-Net单纯增加卷积核个数，使其和Focus-Net相似，结果低两个百分点，Focus-Net并不是因为单纯增加参数而获得提升的效果

4.结构上的对比

在小器官数据上， S-Net比S-Net + SOL-Net + SOS-Net效果要差，说明增加的细分网络是有效果的，然后不同的ROI区域大小效果说明单纯增大ROI区域并不会使效果变好，过大的ROI会削弱平衡化机制的能力。