(脑肿瘤分割笔记：五十)基于片间上下文残差学习的三维医学图像分割

目录

Title:Inter-slice Context Residual Learning for 3D Medical Image Segmentation 

一：Introduction

二：方法

2.1解决思路

2.2主要方法

2.3网络结构​编辑

总结

---

Title:Inter-slice Context Residual Learning for 3D Medical Image Segmentation 

一：Introduction

深度卷积神经网络已经广泛应用于医学图像分割领域，但这些模型的精度需要进一步提高，主要是其对三维环境感知的能力有限。--问题动机

这篇文章提出了三维上下文残差网络，用于三维医学图像的分割，模型由编码器，分段解码器和上下文残差（剩余）解码器组成。作者设计了上下文残差模块，并在它的每个初度尺度上桥接两个解码器，每个上下文残差模块包含上下文残差映射和上下文注意映射。形式化的目标是明确的学习片间上下文信息，而片间上下文作为一种注意来提高精度。

近年来，为了增强深度卷积神经网络对医学图像分割的能力，人们做了很多的尝试，例如对编码器-解码器体系结构通过多种方式进行了改进，以保持底层的详细信息，并获得清晰的边界对象，利用空间金字塔池化的方法来挖掘多尺度信息，在分割模型中引入了Atrous卷积，有效的扩展了感受野，并且一些注意力学习机制被引入到分割模型中，使得它们能够更多的关注特定的位置或通道

二：方法

2.1解决思路

本文提出了三维上下文残差网络（ConResNet）来精确分割三维医学图像。ConResNet具有一个编码器-解码器结构，分别包含一个用于特征提取的的编码器和两个用于生成分割掩码和片间上下文的解码器。上下文残差解码器将分割解码器产生的相邻切片的残差特征映射作为输入，同时反馈给分割解码器作为一种注意力引导，旨在提高分割模型有效感知和使用层间上下文信息的能力。

可以考虑将上下文残差解码器添加到编码器-解码器结构中，明确提高模型的3D上下文能力，从而提高分割的精度。

2.2主要方法

上下文学习：

目标上下文提供了周围的环境信息，因此其是语义分割的必要条件。上下文的学习策略很多。大致可以分为3类

1.首先，为了探索多尺度的上下文信息，就有人采用了不同尺度的金字塔空间池化策略来聚集多尺度的全局信息。将不同扩张率金字塔池化引入并行分支，进行多尺度表征聚合。

2.其次，为了扩大感受野，用扩张率可调的atrous 卷积代替了传统的卷积。

3.提出了许多基于注意的方法来过滤外部信息。通过显式建模卷积特征的通道相关性，自适应地重新校准通道特征响应。设计了一个具有自底向上和自顶向下前馈结构的注意模块来学习软注意权重。通过使用高级特征来生成低级层次的注意图，来开发深层网络的内在自我注意能力。

2.3网络结构

图中（a）为提出的 三维上下文残差网络（ConResNet）,它有一个编码器解码器结构。包括一个共享编码器（橙色），一个分割解码器（蓝色）和一个上下文残差解码器ConRes(绿色)

图中（b）是上下文残差模块

1）：共享的编码器：在ConResNet中，共享编码器由9个残差块组成，每个块由两个3*3*3卷积层和一个从输入到输出的跳跃连接组成，使用了组数为8的组归一化。此外使用权值标准化算法，通过对卷积层的权值进行归一化来加速批处理训练。

如图所示，编码过程可分为五个阶段。在第一阶段，输入由一个包含32个核的卷积层和一个残差块处理。在接下来的三个阶段中的每一个阶段，数据都由一个步幅为2具有双重核的卷积层和两个剩余块处理。因此，逐步将特征映射下采样到输入大小的1/8，同时将通道数从32个增加到256个，从而扩大了感受域，减少了计算量。在最后阶段，使用了两个剩余块，它们使用了扩张率为2的atrous卷积，以进一步扩大感受野，同时保持特征分辨率的形状和边缘的更多细节。

2）双重解码器：在三维上下文残差网络中包含了两个解码器和一个上下文残差解码。由分割解码器生成分割掩码或由ConRes解码器生成剩余掩码包括三个阶段。在每一阶段，提出了一个上下文残差模块来连接分割解码器和ConRes解码器。

具体来说，分割解码器首先使用三线性插值对之前的特征进行上采样，然后使用元素求和的方法将它们从编码器传递过来的低级特征融合。融合特征的上下文残差传输到上下文残差解码器中。ConResNet解码器将分割解码器传递的上下文残差特征与前一层传递的特征进行融合，并对其细化以预测残差掩码，此外上下文残差解码器生成的片间上下文残差信息被传输回分割解码器用作注意引导，以提高分割解码器感知3D上下文的能力。为了匹配编码器中的通道数量，我们在每次上采样操作后都将通道数减半。因此得到了一个分割掩码和对应片间上下文残差掩码的每个输入量。

3）上下文残差模块：这一部分主要由两个路径组成。即分割路径（顶部）和上下万残差路径（下方）。在分割路径中，输入是编码器中来自上一层的分割特征和来自同尺度层的低级特征按元素相加，输出是分割特征。

在上下文残差路径中，输入是来自上一层的上下文残差特征，输出是上下文残差特征。设计了上下文残差映射和上下文注意映射来连接两条路径1，从而更好的进行上下文感知和语义分割。

总结

本文提出了三维上下文学习的ConResNet来提高深度卷积神经网络的感知层间的上下文能力