跨尺度特征融合

使用 CNN 从图像中提取特征已成为主流。神经网络的可学习性可用于处理具有复杂背景的遥感图像。随着神经网络层数加深，获取的特征图表示的语义信息也在发生变化。具体来说，浅层特征图包含更多位置信息，有利于定位的实现；而深层特征图包含更多语义信息，有利于分类任务。

具体来说，SE 块是用于建模 CNN 特征通道之间关系的注意力模块。它可以抑制背景噪声，并通过显式建模通道之间的相互依赖关系并自适应地重新校准通道方向的特征响应来突出目标特征。然而，当将SE块完全嵌入到backbone中时，推理时间会在一定程度上增加，所以只是将SE块放在具有更多语义信息的深层，然后通过CSFF模块逐步将增强的全局特征传输到所有其他较浅的层。

CSFF模块主要用于特征融合，每个特征尺度的特征增强。通过使用CSFF模块，合并特征的上下文信息以更好地实现目标的特征提取，以解决类间相似性的问题。采用FPN的输出，即FA2、FA3、FA4、FA5和FA6，作为CSFF模块的输入。其中，深层特征图包含更多的语义信息，浅层特征图具有更好的位置信息。

SE

这里SE块的作用是更多地关注遥感图像目标检测当前任务的有效特征学习。不同深度的SE块通过结合挤压和激励操作来创建具有不同通道特征的全局分布通道响应，并显式地对通道关系进行建模，从而在所有网络中扮演着不同的角色。我们的方法不同于SENet，它将SE块嵌入到ResNet的每个阶段。在我们的工作中，只是将SE块插入到FPN深层的输出中，以突出特征通道之间的高级语义信息。

给定要输入的原始特征X，X∈RH∗W∗C，首先使用FSqueeze操作通过全局平均池(GAP)压缩全局空间信息来获得C维通道。然后，采用FExcitation操作通过自门控方案捕获通道激活(即所有特征通道的激励)。最后，通过使用 FScale 操作将原始特征 X 与学习激活重新缩放来获得 SE 块的输出。参考论文：Squeeze-and-Excitation Networks

CSFF

特征表示在图像目标检测任务中发挥着核心作用。为了适应不同大小的对象，从多个 CNN 尺度中提取特征已成为一种流行的方式。CSFF考虑了跨尺度特征信息，因此，多个特征图的融合更有利于不同尺度目标的检测。

从FPN得到FA2、FA3、FA4和FA5四个尺度的特征图，利用SE块得到F' A6。它们都具有相同的通道维度。首先，需要通过使用  1 × 1 卷积将 FA2、FA3、FA4、FA5 和 F′A6 的通道维度（即特征图的厚度）从 256 减少到 64，得到 FB2、FB3、FB4、FB5 和 FB6 的五个中间特征。对于每个尺度 i ,i = 2, 3, 4, 5, 6，四个 FB 特征期望 F Bi 首先上采样和（或）下采样，然后连接以获得与尺度 i 具有相同空间维度的 256-D 特征图。最后，将FAi的特征图与前面获得的256-D特征图在元素级相加，实现所有五个尺度的跨尺度融合。这样，在后续预测的处理中，不仅使用了当前层的特征信息，还考虑了其他四层的上下文特征，使获得的新特征更加强大。可以发现，FC4是将所有尺度的特征相结合的结果。通过这种方式，深尺度和浅尺度的特征都被用来实现高质量的物体检测。这种方法对于遥感图像中的目标检测任务特别有效，因为它可以解决目标大小变化大以及类间相似性的挑战。

注：本文仅用于学术分享，如有侵权，请联系后台作删文处理。

最后：

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！