PraNet: Parallel Reverse Attention Network for Polyp Segmentation阅读笔记

MICCAI 2020
Deng-Ping Fan, Ge-Peng Ji, Tao Zhou, Geng Chen, Huazhu Fu, Jianbing Shen, and Ling Shao
https://link.springer.com/chapter/10.1007%2F978-3-030-59725-2_26

一、简介

息肉的精确分割是一项具有挑战性的任务，主要有两个原因：（i）同一类型的息肉具有不同的大小、颜色和纹理；（ii) 息肉与其周围粘膜之间的边界不清晰。为了解决这些问题，我们提出了一种基于并行反向注意力的网络（名为 PraNet）来精确分割结肠镜图像中的息肉。

我们的动机源于这样一个事实：在息肉标注过程中，临床医生首先粗略地定位息肉，然后根据局部特征准确地勾勒出轮廓。因此，我们认为区域和边界是区别正常组织和息肉的两个关键特征。

我们通过并行部分解码器（PDD）在高层聚合特征，从而获取上下文信息并生成全局映射图Sg，该图只能捕捉息肉组织的相对粗略位置。

为了进一步挖掘边界线索，我们反复利用反向注意力（RA）模块来建立区域和边界线索之间的关系。由于区域和边界之间的这种迭代的交互机制，我们的模型能够校正预测结果中一些不一致的区域。

二、方法

2.1 基于并行的部分解码器的特征聚合（PPD模块）

与高级特征相比，低级特征由于其更大的空间分辨率而需要更多的计算资源，但是对性能的贡献较小。

基于Res2Net的backbone网络提取5个层次的特征，其中f1和f2为低级特征，f3、f4和f5是高级特征。我们通过并行连接来聚合高级特征，如图所示的PD部分就是基于并行的部分解码器，从而得到全局映射图Sg。

2.2 反向注意力模块（RA）

我们的全局映射图Sg来自最深的卷积神经网络层，它只能捕捉息肉组织的相对粗略位置，而没有结构细节。为解决该问题，我们提出了一种通过擦除前景对象的方式逐步挖掘有区别的息肉区域的策略。

通过该策略最终可以将不精确和粗略的估计细化为准确而完整的边缘预测图。

我们通过将高级侧输出的特征f乘以反向注意力权重A来获得输出的反向注意力特征R，如公式（1）：

其中A可描述为公式（2）所示：

P（.）表示上采样操作。
σ是sigmoid函数。
⊖(·) 表示从全1矩阵E中减去输入的反向运算符。

2.3 损失函数

第一项表示基于全局约束和局部（像素级）约束的加权IoU损失。
第二项表示二进制交叉熵（BCE）损失。

在这里，我们对三个输出（即：S3、S4和S5）和全局映射图Sg进行监督学习。整体损失可表示为：

2.4 实施细节

输入图像大小为352×352，采用多尺度训练策略{0.75，1，1.25}来替代数据增强。使用Adam优化算法来优化 整体参数，学习率设定为1e-4。batchsize为16，epochs为20，在NVIDIA TITAN RTX GPU上仅需32分钟就可以达到收敛状态。

三、实验