空间上下文金字塔

✅CNN重要的思想就是多尺度，获得不同感受野上不同层级的特征信息。

✅FPN中，多尺度特征融合旨在对从backbone不同stage输出的特征进行聚合，从而增强输出特征的表达能力，提升模型的性能。考虑到单向信息流的限制，PAFPN增加了一个额外的自底向上的路径聚合网络，但增加了计算成本。

代码地址：https://github.com/yeliudev/CATNet

01 相关工作

卷积神经网络 (CNN) 最具代表性的属性之一是局部依赖建模。多个卷积层可以堆叠在一起以增加感受野，在浅层学习高分辨率定位特征和深层低分辨率语义特征。处理异质性的关键是适当地从backbone传播多层特征。早期工作中的一种常见做法是采用多尺度特征传播策略，但这些方法只沿固定路径传播特征。本文认为灵活的信息流可以减少信息混淆，更好地聚合多尺度特征。此外，远程空间依赖建模也被证明对密集预测任务有效。作为开创性的工作，非局部神经网络 (NLNet)  表明可以通过计算像素级成对相关性来聚合全局空间上下文，但它也存在计算成本高的问题。NLNet的一些扩展倾向于通过简化相关估计来解决这个问题。然而，这些工作取得了可喜的成果，所有这些方法都只考虑上下文的概念作为远程空间相关性，而忽略了特征和实例域中的全局依赖关系。

02 提出的方法

01 密集特征金字塔网络

多尺度特征传播旨在从不同的主干阶段聚合视觉特征，该阶段给定一个输入特征金字塔 C = {Cl1, Cl2, ...}，其中 Ci 表示阶段 i 的特征图，目标是在不同级别之间传播特征以产生增强的特征金字塔P = {Pl1 , Pl2 , ...},其中特征对下游任务信息量更大。形式上，特征图Ci或Pi的分辨率是输入图像的1/2i。该模块以C2 ~ C5为输入，首先使用1 × 1卷积将它们下采样到256个通道，产生C ' 2 ~ C ' 5。将stride = 2的额外3 × 3卷积应用于C ' 5，生成C ' 6。因此C ' 2 ~ C ' 6的通道数相同，但分辨率不同。随后，这些特征通过几个堆叠的基本块进行特征级上下文聚合。在每个块中，输入特征金字塔由自顶向下和自底向上的聚合路径处理，其中采用层间残差连接、跨层密集连接和特征重加权策略。

02 空间上下文金字塔

在聚合不同层次的特征图后，特征金字塔仍然包含空间局部信息，因此引入了空间上下文金字塔（SCP），通过学习每个级别内的全局空间上下文来进一步增强特征。

在这些方法中，全局上下文网络 (GCNet)  是一种简单但有效的方法，它将 NLNet 和 SENet 组合成一个轻量级模块。然而，观察到，在具有仅覆盖小区域的目标的遥感图像中，这种设计可能会给目标带来太多无用的背景信息。为了解决这个问题，建议在这种结构之上添加额外的路径来学习每个像素的信息量。核心思想是，如果像素的特征足够丰富，则不需要从其他空间位置聚合特征。这种软重新加权策略可以有效地融合局部和全局特征，同时减少信息混淆。

该模块还具有金字塔结构，因此可以很容易地插入到backbone或neck之后。每一层都由一个具有残差连接的上下文聚合块 (CABlock) 组成。

03 兴趣提取器的分层区域

03 实验

注：本文仅用于学术分享，如有侵权，请联系后台作删文处理。

最后：

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！