论文笔记A deep residual attention-based U-Net with a biplane joint method for liver segmentation from CT

基于深度剩余注意的双平面联合U-Net在CT图像肝脏分割中的应用

实验结果Dice：LiTS2017/3dircadb/Sliver07-97.3%/97.4%/ 96.9%

        Encoder：DRA-UNet的编码器由六层组成。首先，在第一层中通过使用Conv 3×3-BN-ReLU操作粗略地提取输入特征，Conv3×3-BN-ReLU操作由3 × 3卷积、批归一化（BN）和校正线性单元（ReLU）组成。然后，通过最大合并进行下采样，以去除冗余信息并保留每个区域中最重要的特征。在随后的4层中，利用4种不同规格的DR块和最大池进一步提取特征，并通过Conv3×3-BN-ReLU运算得到编码器的输出。

        Decoder：DRA-UNet的解码器包括六层，其主要目的是将编码器中的高层语义特征图恢复到原始图像的大小。首先，通过Conv3×3-BN-ReLU和上采样操作恢复特征图的大小，并在编码器中将观测到的特征与特征图融合。然后，通过Conv3×3-BN-ReLU、Conv1×1-BN-ReLU和上采样操作四个层次进一步恢复特征地图。上采样过程是通过转置卷积实现的，它允许网络学习不同的插值方法并找到最佳的上采样方法。在解码器的最后一层，首先使用Conv3×3-BN-ReLU操作，然后使用3 × 3卷积将特征图恢复到与输入图像中包含的通道数相同的通道数。最后，通过sigmoid得到分割概率图。此外，解码器中的每一层都融合了编码器中相应层的特征，以获得更多的原始特征。

        跳过连接：对于跳接，引入了DAM。DAM融合了SE和SA，分别用于获取网络浅层的信道关注度和SA值，在保证原始特征获取的同时，对网络浅层的特征进行过滤，防止特征的过冲。

Deep residual block

        与使用两个3 × 3卷积层的标准残差结构相比，提出的DR结构使用两组Conv1×1-Conv3×3操作来加深标准结构以获得更好的特征提取，其中使用1 × 1卷积来改变特征图的维度，以确保3 × 3卷积滤波器不受前一层的影响。此外，为了避免网络太深的影响，在两组Conv 1×1-Conv 3×3操作之间引入了一条捷径，允许网络跳过可能导致性能下降的层，并将原始特征转移到更深的层。

        为了进一步提高编码器的特征提取能力，在残差路径之后引入SE来形成DR块.该算法首先利用GAP对深度残差结构中的两组Conv1×1-Conv3×3运算的输出进行全局特征提取，然后通过两个完全连通的瓶颈结构改善特征通道之间的关系，最后通过sigmoid函数获得每个通道的权值，以增强编码器提取全局特征的能力。DR块的输出是通过将SE之后获得的特征图与DR块的输入相加而获得的。

Dual-effect attention module

        由于编码器比解码器经历更少的池化，所以编码器层的特征图包含更丰富的空间信息;另外，特征映射通道之间的依赖关系是有助于特征约简的重要信息。为此，本文提出了一种跳接DAM。

        首先，通过SA得到编码器中特征图的SA值;

        第二，将SA值分配给对应解码器层的特征映射。SE得到增强通道间关系的特征图，然后，将对应解码器层的特征图的sigmoid值赋给增强了通道间关系的特征图，得到两个具有丰富空间信息和通道信息的特征图，并将这两个特征图级联得到解码器各层的输入。

        SA首先基于观测通道对特征图进行GMP和GAP处理，然后将两层处理结果连接起来，通过7 × 7卷积将通道数减少到1，最后通过sigmoid函数生成SA值。

        SE表示挤压和激励，与DR块中的SE相同。

        CT扫描包括横向切片、冠状切片和矢状切片,不同平面分割结果的融合涉及到不同维度特征的融合。然而，不同平面生成的分割结果之间的差异可能导致融合分割结果的不连续性，并且这些差异将随着融合平面数目的增加而加剧。因此，为了平衡分割代价和网络性能，我们在分割过程中使用冠状切片来辅助横向切片，并通过冠状切片为分割结果提供其他维度的信息，使分割结果能够获得尽可能多的三维空间信息。

双平面联合

        首先，将横、冠状切片输入训练好的模型，利用sigmoid得到两个平面的分割概率图。分割概率图中每个像素的值表示该像素属于肝脏的概率，两个分割概率图通过加权求和进行融合（即每个平面的分割概率图乘以该平面的权重，将对应像素的值相加得到最终的分割概率图）

        然后，根据给定的阈值将分割概率图转换为分割结果。目前流行的逐像素平均融合方法，假设每个平面的分割结果对最终分割结果的贡献程度相同，对不同的分割结果赋予相同的权重。然而，分割结果的不同平面会产生正确分割区域和错误分割区域，当分割结果的错误分割率较高时，采用相同的权重会放大结果中的缺陷，从而影响最终的分割精度。因此，基于验证集上模型的分割精度，横向和冠状切片的权重分别设置为0.52和0.48。横向切片和冠状切片的分割模型是由横向切片训练的相同模型，这不需要针对多个平面的多次训练会话，并且避免了多平面分割方法所需的高训练成本的缺点。双平面联合方法的核心是融合两个平面的分割概率图。通过对不同平面的分割概率图中对应像素的概率值执行特定操作来实现融合。