PointFlow：Flowing Semantics Through Points for Aerial Image Segmentation 论文阅读笔记

liang口三三

于 2023-02-20 11:58:32 发布

阅读量294

点赞数

文章标签：论文阅读计算机视觉人工智能

本文链接：https://blog.csdn.net/qq_44616158/article/details/129121280

版权

PointFlow：Flowing Semantics Through Points for Aerial Image Segmentation 论文阅读笔记
——基于点流的遥感图像分割

这是一篇遥感分割论文。总的来说就是：边界点采样+显著区域采样融入到FPN中。

正文

1.遥感图像分割：

遥感图像分割是图像分割中的一类特殊分割，在遥感图像分割中存在者两个问题：
①前景-背景分布极度不平衡；
②在复杂的背景中有很多小物体。

2.之前的研究存在的问题？本文的改进是什么？

与基准方法比较，之前提出的密集亲和上下文建模模型因为引入了大量的背景上下文，甚至没有基准方法表现得好。之前的研究通过构建多尺度特征表示或使用特定设计的模块增强物体边界，关注自然场景中的尺度变化。由于缺乏前景物体的显示建模，它们不能很好地工作。例如，密集亲和上下文模型结果差是因为不平衡和复杂的背景欺骗了小物体上的亲和学习。（密集亲和学习迫使小对象上的像素吸收这些噪声上下文）
因此，本文基于特征金字塔（FPN）提出了一个逐点传播的亲和传播模块，命名为PointFlow Module（PFM），一个在相邻特征之间进行特定语义点传播。稀疏亲和映射在相邻特征件选取点，减少了噪声的引入并且保持了效率。特别的，本文设计了一个双点匹配器（Dual Point Matcher）在显著区域和边界区域分别选点。

3.为什么要分别在显著区域和边界区域分别取点？

端到端语义分割的一个主流矛盾：既需要全局的感受野来完成分类任务，又需要在边缘部分，用局部信息和低层的低级视觉信息来达到准确的边缘分割。对于小物体来说，在FPN的不同特征中存在语义鸿沟。鸿沟主要表现在低语义信息的高分辨率特征和高语义信息的低分辨率特征之间。
本文认为最显著的区域可以表示平衡像素级的关键点，此外，因为航空图像中大量的小物体需要更精细的位置线索，边界区域也可以认为是关键点。因此，本文提出的模型PFM就是为了缓解这一个矛盾，特别的设计了双点匹配器来选取点。

4.之前研究方法的概述：

• [67,7,8,9,52,46,30]利用空间上下文来克服卷积层接受域有限导致的多尺度特征表示
• ASPP利用不同atrous速率的atrous卷积[56]提取不同感受野的特征;
• PPM[67]通过金字塔池化生成金字塔特征图。
• 一些工作[42,2,50,66,4,22,25]使用编码器-解码器结构来细化输出细节。
• 最近的工作[31,58,20,61,63,71]提出使用非局部类算子或损失[45,48,24,54]来收集输入图像的全局上下文。
• 同时，一些文献[23,44,59,27]提出通过特定设计的处理来细化对象边界。

这些通用的语义分割方法忽略了航空图像中前景背景像素不平衡、前景小目标增多等特殊问题。因此，这些方法得到较差的结果。
最近，FarSeg[68]提出了基于关系和基于优化的前景建模方法来处理遥感图像中的前景-背景不平衡问题。但是，缺少对相邻特征之间语义传播的明确探索，限制了小对象分割的性能。

5.本文的方法：

本文基于FPN框架，通过在特征金字塔中插入PFMs，提出了PFNet。本文的主要贡献在以下三点：
①本文提出了PointFlow模块(PFM)，一种新颖且高效的基于姿态的亲和学习模块，并设计了一个双点匹配器(Dual Point Matcher)，以互补的方式从显著区域和边界中选择匹配的稀疏点；
②将本文提出的PFM加进FPN形成新的PFNet网络；
③大量的实验和分析证明了PMF的有效性。

一般的方法，直接把编码器的特征图使用注意力之类的手段加权融合到解码器的特征图上（作者称为dense affinity），那么作为背景的小目标反而会对分割的结果造成不好的影响，同时广大的背景信息被加权融合到输出，分割效果也会打折扣，因此本文提出了一种sparse affinity的方式。
dense affinity的核心思想是通过对象级别关系建模学习全局上下文，每个像素都和特征图中的其他所有像素建立了联系。直接引入这种模式的affinity仍然存在一些问题：
① 会引入背景噪声；
② 小物体需要高分辨率和高语义特征，但实际存在semantic gap，即低层高分辨率语义信息少，高层次低分辨率语义信息多。
针对问题①本文构造一个采样器β选取有代表性的点，来平衡背景上下文的比例并且保持有效性。
针对问题②将A函数的输入变为FPN网络中邻近特征图（F_l，F_(l-1)）的点，这样可以兼顾分辨率和语义信息。计算公式如下：
在这里插入图片描述
其中，Fl和Fl-1表示FPN网络中的相邻层，p ̂ 是用于亲和建模的采样像素。

6.具体设计：

不重要的背景像素上下文可能会为前景物体带来噪声，考虑到此，我们提出了通过选择的点传播上下文信息。
本文的网络结构，如图1所示。包含了一个自底向上的路径作为encoder,是多特征金字塔输出的主干网络。一个自顶向下的路径作为decoder，是轻量级的FPN加上我们的PFMs。

在图1Point FLow Network这里插入图片描述图1 Point Flow Network
PFNet解码器从编码器中获取特征图，并根据之前的工作设计[68,22]使用经过细化的特征金字塔进行最终的航空分割。
PFNet解码器通过将FPN的自顶向下路径中的PF模块简单地取代常规的双线性上采样，最终通过将输入上采样到相同的分辨率(输入的1/4分辨率)，将所有精炼的F_l^r (其中l范围从2到5)连接起来并进行预测。
请注意我们的模块也可以集成到其他架构中，包括Deeplabv3[8]，只需要在其头部后面附加这样的解码器。
如图2 我们可以看出，PointFlow Module分为两个部分，最左边是Dual Point Matcher, 右边是Dual Region Propagation。

①左侧Dual Point Matcher：

•其中每一层的特征图在进入下一层之前通过两个1X1卷积层压缩到相同的通道深度。
•两个相邻的特征图 F_(l-1)∊R^(C×H×W) 和F_l∊R^(C×H/2×W/2)作为输入。 l表示特征金字塔的索引，输出重新表示为F_(l-1)^r∊R(C×H×W)
在这里插入图片描述

图2 Point Flow Module
双点匹配器分别在分别在显著区域和边界区域选择点。前者是通过对学习的显著图进行显式的最大池化操作获得的。后者以预测的对象边界为条件，我们采用基于减法的预测。然后根据从两个相邻特征中采样的点特征估计点亲和度。最后，根据亲和图将较高的层点融合为较低的层点。
我们的PFMs在前景对象和采样背景区域上选择和传播点，以同时处理语义鸿沟和前景背景不平衡问题。
** 加粗样式
图3 Dual index Generator

Dual Point Matcher有两个步骤：
1、生成显著图
我们将高分辨率的F_(l-1)通过双插值下采样到相同的低分辨率的F_l层，将其表示为F ̃l-1。然后进行3x3卷积后使用sigmoid函数生成显著图M_l。计算公式如下：
在这里插入图片描述

2、从双索引生成器生成采样索引
我们将F_l和M_l作为双索引生成器的输入，执行自适应最大值池化然后得到最显著区域的点，为了强调前景物体的显著区域，我们将得到的结果与F_l相乘，再加上残差设计，如下所示：
在这里插入图片描述

我们简单地从MaxPool(M_l)中选取显著指标。K是集合点的个数，它等于自适应集合核的乘积。我们用I(s)来表示显著区域的索引。
对于边界点的提取，不是简单地使用对输入特征F_l或F_(l-1)进行二进制监督边界预测，而是采用残差预测。本文受到了拉普拉斯金字塔的启发，在显著图M_l上使用平均池化然后乘以F_l得到边界预测的锐化特征F ̃_l^b，如下所示：
在这里插入图片描述

该公式的原理就是利用显著图对F_l进行平滑，然后用F_l减去平滑后的图像就是边界信息了。
利用F ̃_l^b进行边界预测后，得到边界图B_l，按照前面的步骤，我们简单地从边缘图，根据它们的置信度得分(实验中K=128)中采样Top-K点。将边界索引表示为I(b)。
总的来说，双指标生成器根据显著图Ml从特定区域选取点，以正交方式对关键点进行采样。双指标生成器的整个过程如图3所示。

②右侧Dual Region Propagation

•在点匹配器之后，我们分别获得索引I(s)和I(b)。然后根据显著特征F_l^s 和原始输入特征F_(l-1)对图中的点进行采样。对于每个选定的点，在相邻的两个输入特征上提取逐点特征表示。(请注意，一个实值点的特征f是由正则网格上4个最近邻居的双线性插值计算的。)我们在实现过程中使用标准化网格。对于显著部分和边界部分，我们将f_l^s和f_lb表示为阶段l的采样特征点。我们将这些采样点独立地排列起来。对于每个采样点p，自顶向下的传播过程如下所示：
在这里插入图片描述

其中A为亲和函数，i表示I(s)或I(b)的索引。对于A，我们使用逐点矩阵乘法和softmax函数进行归一化。在前面的工作[18]的基础上，我们采用了残差设计，以便于训练。根据低语义采样点的语义相似度，通过逐点亲和计算采样的高语义点，避免了空中场景中背景信息的冗余。最后，根据指标I(s)和I(b)将f_(l-1)^r 散射到F_(l-1)中，得到细化特征F_(l-1)^r。
在这里插入图片描述
图4 Point FLow Module
Scatter过程就是依次按照I(s)和I(b)将f_(l-1)^r中的p个点的值回代入这些点在F_(l-1)的
原位置上的特征值，得到F_(l-1)^r

7.损失函数

•对于每一个PFM的边缘预测，损失函数使用binary BCE loss L_bce；其中，N是总样本数，y_i是第i个样本的所属类别, p_i是第i个样本的预测值，一般来说，它是一个概率值。
•对于最后的分割预测，损失函数使用cross-entropy loss。
默认情况下，这两个损失加权为1。

8.结论

在本文中，我们提出了PointFlow模块来解决航空图像分割中前景-背景对象不平衡和特征金字塔之间的语义鸿沟问题。我们设计了一种新的双点匹配器，从显著区域和边界中采样匹配点。大量的实验表明，我们的PF模块可以在空中基准上显著改善各种基线。我们提出的PFNet在三个公共空中基准上实现了最佳的速度和准确性权衡。在三个一般分割数据集上的进一步实验也证明了该方法的通用性。