基于注意力机制的多尺度轻量级3D分割算法：脑肿瘤图像分割

基于注意力机制的多尺度轻量级3D分割算法：脑肿瘤图像分割

Expert Systems With Applications【2022】

背景

现有的3D网络缺乏自动聚焦较小目标的能力，并且再3D网络使用大量参数。
脑肿瘤分割仍有一些挑战有待解决。脑肿瘤及其亚区域具有复杂且不规则的边界结构。传统的3D U-Net缺乏聚焦于分割目标的能力。此外，对于3D脑肿瘤分割，目前的深度架构，尤其是那些使用3D卷积的架构，总是具有复杂的结构和更大的计算成本。

贡献

1. 标准卷积替换为分层解耦卷积，减少参数量
2. 底层卷积模块中加入膨胀卷积，增强网络表达多尺度信息的能力
3. 输出层引入了注意力机制，使网络自动聚焦肿瘤区域，利用ET、TC、WT之间的关系来提高分割精度
   分层解耦卷积中加入膨胀卷积，扩大感受野提取多尺度信息；
   级联策略，粗分割后精细分割，增加注意力机制，增加网络模型的聚焦能力，提高小目标区域的精度；增加了残差模块，防止网络退化，增强特征重用性；

实验

数据集：BraTs18,19,20，裁剪到128 128 128，轴向、冠状面、矢状面应用随机轴镜像翻转p=0.5，【-10，10】范围内应用随机旋转，155扩展到160。上传测试。

方法

Dilated hierarchical decoupled convolution unit

膨胀分层解耦卷积单元
使分割网络轻量级化的挑战在于如何在有限的计算预算下提高网络速度并保持其精度。我们以HDC【HDC-Net: Hierarchical decoupled convolution netw-ork for brain tumor segmentation】为基本单元构建了整个网络。HDC是一种分层解耦卷积模块，其具体结构如图2（a）所示。这种结构在不同方向上使用两种类型的伪 3D 卷积核。前者捕获切片内的特征，而后者捕获切片之间的特征。这减少了参数的数量，同时提高了网络感知 3D 空间信息的能力。同时，在提取透视层面时，网络结构是不对称的，从而赋予了模型更大的灵活性。
作者在HDC的基础上改进，增加膨胀卷积，弥补了HDC感受野小的缺陷，同时使网络能够捕获多尺度特征。为了避免网格效应，使用了不同空洞率的空洞卷积以及跳跃连接结构

Cascaded attention module

级联注意力模块
多任务集合轻量级网络。首先，我们使用单个网络实现脑肿瘤的多任务过程分割，然后根据粗分割结果对较小的目标区域进行精细分割。在设计精细分割网络时，我们增加了注意力机制，将网络聚焦在小目标区域，从而完成了精细分割模块，我们称之为级联注意力网络（CAN）

Thinking

使用膨胀卷积，改进HDC，在低参数的同时获取多尺度特征，分别获取切片间特征，切片内特征。注意力机制很有意思，用最大的WT的注意力权重引导第二大的TC，再用WT和TC引导最小也是最难分割的ET，从消融实验看加上注意力机制TC的精度提高了，WT和ET的精度稍微下降，作者没有分析原因，代码中最后把4，128，128，128维度的输出拆分出来，s1，s2，s3是WT，TC和ET。最后拼接的时候用的s0,l1,s2,l3。也就是说，TC还是用的原来的，WT和ET用的是加权后的。代码和图有点不一致