多尺度变形注意力模块和多级特征聚合模块

MSDAM

✅multiscale deformable attention module (MSDAM)

为了有效地缓解背景信息干扰问题，同时减少计算负载，并遵循跨尺度特征融合 (CSFF) 的工作，MSDAM 应用于 C5，以使网络更多地关注目标特征。

直接将卷积层应用于C5可能无法为遥感图像生成精确的注意图

（1）CNN的有效感受野远小于理论感受野，特别是对于深层。特征图 C5 受到一个小的有效感受野的影响，并且无法编码足够的信息来预测精确的注意力图；

（2）遥感图像中的物体实例具有变形和大尺度变化的特征，而具有固定形状和单尺度感受野的特征图C5很难很好地拟合这些物体并预测出精确的遥感图像注意力图。

考虑到可变形卷积可以放大输入特征图的感受野，同时输出具有可变形感受野的特征图。

1️⃣给定输入特征图C5，MSDAM首先应用1×1卷积层，将其信道从2048减少到512。相应生成的特征图表示为于C05。

2️⃣将四个连续的3×3可变形卷积应用于C05，以生成四个感受野逐渐增加的特征图，分别为C15、C25、C35和C45。通过这种方式，可以捕获足够的信息。

3️⃣C15 -C25 沿通道轴连接以获得具有多尺度变形感受野的新特征图，注意力图 A 是通过在这个新连接的特征图上应用 3 × 3 卷积层和 sigmoid 激活函数生成的。

4️⃣最后，将特征图 C5 与其对应的注意力图 A 相乘，得到注意力调制的特征图 Cout。

通过这种方式，MSDAM从具有大的多尺度可变形感受野的特征图中生成注意力图，从而可以更好地拟合各种形状和大小的遥感对象，并为遥感图像生成更精确的注意力图。

MLFAM

✅multilevel features aggregation module (MLFAM)

给定FPN生成的多级特征(记为P2-P5)，MLFAM首先提取整个图像的全局上下文(记为Pg)。然后，利用可变形卷积(DConvs)对Pg和P2-P5进行聚合和细化，得到具有可变形感受野的新特征图。最后，利用细化的特征图来加强FPN的多级输出，为后续的目标检测生成新的金字塔表示A2-A5。

具体而言，MLFAM由三个步骤组成，即全局上下文提取、特征重新缩放和聚合以及特征细化和恢复。

1️⃣Global Feature Extraction：给定最高级别的特征图P5，MLFAM使用全局上下文模块（GCM）来提取输入图像的全局上下文。具体地，GCM首先使用全局平均池来聚合特征图P5的空间信息，生成空间上下文描述符Pavg5。然后，GCM将Pavg5通过一个完全连接的层，以获得整个图像的全局上下文。

2️⃣Features Rescaling and Aggregation：为了聚合新生成的全局上下文Pg和从FPN获得的多级特征P2–P5，MLFAM将它们调整为中等大小，即P4的大小。具体而言，通过平均池化层将P2和P3的大小调整为与P4相同的大小，分别生成P*2和P*3。相反，使用双线性插值将 P5 调整为 P4 的大小，Pg 中的值沿空间维度以匹配 P4 的大小，从而得到 P*5 和 P*g。一旦特征被重新调整，聚合特征通过以下平均操作获得：

3️⃣Feature Refinement and Recovery：由于遥感物体通常具有不同程度的变形，具有固定形状感受野的聚合特征Pagg很难很好地处理这些物体。因此，Pagg 通过两个连续的 3 × 3 可变形卷积 进一步细化，以获得具有可变形感受野的新特征图。经过细化后，然后使用平均池化或双线性插值重新缩放细化特征以增强FPN 的多级输出并生成更强大的金字塔特征 A2-A5。

数据集

注：本文仅用于学术分享，如有侵权，请联系后台作删文处理

最后：

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！