边界感知相关文献阅读：Boundary-aware Context Neural Network forMedical Image Segmentation

目录

文章信息

一、摘要

二、本文主要方法

1.Pyramid Edge Extraction Module

2.Mini Multi-Task Learning Module

​编辑

3.Cross Features Fusion Module

三、实验效果

---

本文目前只着重关注记录文中边界感知的实现方法

参考博客：医学图像分割新网络：Boundary-aware Context Neural Network for Medical Image Segmentation_医学图像语义分割网络-CSDN博客

---

文章信息

一、摘要

        医学图像分割可以为进一步的临床分析和疾病诊断提供可靠的依据。卷积神经网络（CNN）的医学图像分割的性能已经显着提高。然而，大多数现有的基于CNN的方法往往产生不令人满意的分割掩模没有准确的对象边界。这是由有限的上下文信息和连续池化和卷积操作后的不充分的鉴别特征映射造成的。由于医学图像具有类内差异大、类间不区分和噪声等特点，提取强有力的上下文信息并聚集有鉴别力的特征进行细粒度分割仍然是一个挑战。在本文中，我们制定了一个边界感知上下文神经网络（BA-Net）的二维医学图像分割，以捕捉更丰富的背景和保留精细的空间信息。BA-Net采用编解码器架构。在编码器网络的每一级，首先提出了金字塔边缘提取模块，以获得多粒度的边缘信息。然后，我们设计了一个小型的多任务学习模块，用于联合学习分割对象掩模和检测病变边界。特别是，提出了一种新的交互式注意桥接两个任务，以实现不同任务之间的信息互补性，有效地利用边界信息，为更好的分割预测提供强有力的线索。最后，交叉特征融合模块的目的是选择性地聚合来自整个编码器网络的多层次特征。通过级联三个模块，编码更丰富的上下文和细粒度的每一个阶段的特征。在五个数据集上的广泛实验表明，所提出的BA-Net优于最先进的方法。

二、本文主要方法

        如下图所示，BA-Net采用encoder-decoder的网络结构，并且在backbone阶段采用Resnet（使用ImageNet进行预训练）。在encoder结构中，ResNet中的最后一个全局池化层及全连接层被去掉了，近保留一个卷积和四个残差模块用于主要的特征提取作用。不失普遍性的，对于每张输入图像，将四个残差block的输出分别表示为 F i F_i Fi​, i ∈ 1 , 2 , 3 , 4 i\in{1,2,3,4} i∈1,2,3,4.
为了增加感受野，最后两个残差模块中使用的空洞卷积，空洞系数为2，并且保留与前一层模块相同的空间像素，因此，每个模块的输出尺寸为输入尺寸的 1 / 4 , 1 / 8 , 1 / 8 , 1 / 8 1/4,1/8,1/8,1/8 1/4,1/8,1/8,1/8。此外，在最后一个残差模块的上层特征图中应用了ASPP即空洞空间金字塔池化模块用于编码和捕捉多尺度特征。ASPP模块包含四个并行的具有不同空洞系数的空洞卷积和一个全局平均池化，主要用于压缩和合并特征图。为了产生更丰富的上下文信息，用于解码过程的引导，本文增加了三个模块用于挖掘同一水平的特征以及聚合不同水平的特征在每个encoder阶段。

    PEE（Pyramid edge extraction）金字塔边缘提取模块用于聚合不同尺寸的边缘信息；
    MTL（mini Multi-task learning module）mini多任务学习模块，通过利用相关边缘检测和分割任务中的潜在的关联信息和辅助性特征来得到更加丰富的知识信息。
    CFF（Cross feature fusion）交叉特征融合模块，聚合不同level之间的特征。
    最后，在decoder部分，通过聚合ASPP模块的不同输出 D i , i ∈ 1 , 2 , 3 , 4 D_i, i\in{1, 2, 3, 4} Di​,i∈1,2,3,4，然后依次对每个阶段的编码特征进行最后的分割预测。

1.Pyramid Edge Extraction Module

        这里体现出了边界感知的实现思想。

        为啥残差模块的缩减后的特征图减去不同尺寸的的平均池化后的value值，就能得到不同尺寸粒度的边缘特征呢?刚开始不太理解，问了一下gpt（大概理解了）：

2.Mini Multi-Task Learning Module

其中的Interactive attention（IA）模块如下图所示：

        来自于目标边缘的额外信息可以帮助判断目标的形状，并且，语义分割和边缘检测具有很强的依赖关系。基于这个观点，本文提出一个mini的多任务学习网络mini-MTL，将其嵌入在每个阶段中，这样可以不需要引入过多的参数即可进行分割和边缘检测。这个mini-MTL模块的主要作用是通过潜在的关联来得到一定的效果增益。如上图所示，这个多任务网络包含两个主要组成部分：the task specific branch 和 interactiv attention layer。每个branch包含两个卷积层和一个上采样层。卷积操作主要用来编码任务相关的特征，上采样层是用来得到对应预测的mask。在第 i阶段，PEE模块的特征图 Fi,p ， Fi,p​是作为两个子任务的输入，用于提取同时相关任务的特征。

Interactive attention（IA）模块：     

      为了整合其他任务的有效信息，本文设计了一个简单却有效的交互式注意力整合方法。以边缘特征整合为例，首先利用一个sigmoid函数得到一个权重mask，即表示当前边缘特征的重要位置。然后对注意力权重取反，即得到另一个任务的权重注意力mask。最后，我们可以从分割特征中选择性的发送有用的信息到当前的边缘特征中，通过逐像素的相乘操作。

        相当于下面这样，非常形象：

Interactive 过程：

loss function：

3.Cross Features Fusion Module

三、实验效果

        通过与上述多个SOTA医学图像分割方法在五个数据集进行实验对比，下表表明，本文方法在不同数据集上均达到很好的分割效果。

        下图所示为本文方法与其他SOTA的医学图像分割方法的分割可视化效果图，从图中可以看出，本文方法相对来说，分割精度更高，尤其是在边缘处的分割更加精确。    

    

---