自监督论文阅读笔记FIAD net: a Fast SAR ship detection network based on feature integration attention and self

        合成孔径雷达(SAR)舰船探测(SSD)是一种重要的应用，在商业和军事领域有着广泛的应用。随着遥感技术的发展，大量增加的未标记数据的使用 对模型训练提出了挑战，而 岛礁和近岸设施的干扰 也对SAR舰船探测提出了挑战。本文提出了一种 特征集成注意检测(FIAD)网络 来检测SAR图像中的船舶，即FIAD net。

        FIAD网络有两个贡献：一个基于自监督学习的ModiBYOL方法 和 一个新的特征集成注意(FIA)模块。FIA模块可以增强骨干网的特征学习能力，而ModiBYOL可以利用未标记数据作为骨干网预训练的来源。在OpenSARShip数据集、SAR舰船检测数据集(SSDD)和SAR舰船数据集上的实验表明，所提出的方法以每秒47帧(FPS)的速度达到了与现有方法相当的精度。此外，还通过消融实验研究了该模块的有效性。

---

        1. Introduction

                合成孔径雷达(SAR)是一种 不受天气和阳光影响 的 主动微波雷达成像平台。这使得 SAR图像成为船舶检测的完美数据源(Atteia和Collins 2015；潘，廖，杨2019)。船舶探测是边境管制、环境保护、交通监视、反走私、搜索、救援等前沿任务的基础(Cui et al. 2019)。随着造船工业和世界贸易的发展，船舶检测变得越来越重要。随着SAR平台的增长，未标记SAR数据的数量也在迅速增加(steel - dunne et al. 2017)。由于 SAR图像标注需要人力和专业知识，自动SAR舰船检测(SSD)方法可以减轻人工劳动，提高下游任务的效率。

                近年来，卷积神经网络(Convolutional Neural Networks, CNN)在计算机视觉领域取得了长足的发展，在各种计算机视觉任务中，CNN的性能已经超过了传统的方法。作为地理信息与计算机视觉的交叉研究领域，基于CNN 的遥感方法也受到了广泛关注(Dong et al. 2020;Liu等。2019;Zhang等。2019;Chen等。2020a;Gao等人，2019;Zhao等，2020;Cui等。2019,2021)。由于遥感图像包含复杂的语义信息，扩大了类内的距离，压缩了类之间的差异(Cheng等，2020)，这需要大量的标记训练数据进行监督学习。然而，高人工成本数据中的显式标签可能无法提供足够的特征信息(Chen et al. 2020b)。在这种情况下，如图1所示，更有效的学习过程可以帮助CNNs收敛到更好的解。自监督对比学习能够提取潜在的特征信息，而不是显式标签(Chen等2020 b;Hjelm等人，2019;Oord, Li和Vinyals 2018;他等人;Grill et al. 2020)，很少有研究在SSD上采用对比学习。在这种情况下，有必要讨论在SSD中采用自监督的对比学习。因此，本文提出了一种名为ModiBYOL的骨干网络预训练方法，该方法基于SSD任务中的自我对比 self-contrastive学习。

                 SSD中的传统挑战包括 多尺度对象、类别不平衡、斑点噪声 和 由近岸设施引起的干扰。为了克服这些问题，许多工作嵌入了 注意力机制 和 特征金字塔结构，以增强特征提取能力 和对多尺度对象的敏感性(张等2019；陈等；高等2019；赵等；崔等2019，2021)。然而，这些实现将卷积模块堆叠在检测框架上，并以牺牲速度为代价。因此，在不影响检测速度的情况下提高检测精度有助于提高SSD。本文提出了一种 新的轻量级特征整合注意(FIA)模块，以进一步改善SSD。

                结合ModiBYOL和FIA模块，提出了一种 高速SSD 方法，即FIAD Net。FIAD net的设计原则是 从使用大量未标记数据和增强 CNN 的目标特征提取能力出发。与现有的最先进的SSD方法相比，本文在多个数据集上测试了FIAD Net的检测速度。FIAD Net在SSDD数据集和SAR舰船数据集上取得了与最先进的检测结果相当的效果。

                Contributions：
                ● 提出了一个轻量级的特征集成注意(FIA)模块 来 增强FIAD网络的特征提取能力。

                ● 提出了一种 SAR舰船 特征敏感的自监督学习方法(ModiBYOL )，以帮助主干网络从无标签数据中提取SAR舰船的特征表示和粗略位置。

                ● 结合FIA模块、ModiBYOL、YOLOv4(Bochkovskiy、王、廖2020)建立FIAD网络，实现了对SAR舰船速度为47 FPS的准确检测。

---

        自监督学习：

                从未标记数据中提取特征主要依靠无监督学习。生成模型 和 对比方法是 CNN无监督学习 中使用的两种方法。

                早期的方法 将图像特征 编码成 来自图像 和 潜在嵌入的分布。它采用自动编码(Hinton和Salakhutdinov 2006Pham和Le 2020)，以及对抗性训练(Goodfellow等人2014)来 重建图像。因为 生成方法 是从像素级恢复特征表示。它的计算成本很高，而且在许多情况下，生成的信息并不是必需的。

                最近，对比方法在自监督学习中取得了令人信服的性能(Chen等。2020b;Hjelm等人，2019;Oord, Li和Vinyals 2018；He等。;Grill等，2020年)。对比方法的概念 是 缩小所需特征之间的距离，扩大不需要特征之间的距离。

• Deep InfoMax(DIM) (Hjelm et al. 2019) 最大化了不同级别特征的互信息，以确定图像。DIM 将 卷积编码器的最终输出 作为 全局特征，将编码器的中间层输出 作为 具有受限感受野的局部特征。
• 对比预测编码(CPC)(Oord, Li和Vinyals 2018) 通过 编码 跨隐空间共享的信息 来学习表征。该算法以 噪声对比估计NCE 作为互信息损失 的基础，实现了对比学习。

                由于 对比方法 对更多的负样本更有效，而且大量的负样本 可能更有效地覆盖潜在分布。

• 动量对比(MOCO)(He et al.)通过 维持大的负样本队列 有效地解决了这一问题，并在更新负编码器时 丢弃反向传播。
• SIMCLR(Chen et al. 2020b)首先讨论了 数据增强 的重要性。然后通过 引入特征向量 和 对比损失之间的 可学习非线性变换 来提高学习到的表示的质量。

总的来说，SIMCLR在Imagenet数据集上以8192的小批量实现了最先进的性能。mini-batch 大小的影响是一个不可忽视的重要因素。此外，更强大的数据增强可以帮助CNN 学习到 更鲁棒的特征表示，减轻批量大小带来的副作用 有助于对比方法的研究。

• 在此之后，BYOL(Grill et al. 2020)提出了一种新的方法，通过 增强 在线网络和目标网络 正对之间的特征表示的学习能力。BYOL实现了高性能，对mini-batch的大小不太敏感。

        因为，对比方法丢弃了生成模块，更容易收敛。这些方法为从无标记SAR舰船数据中学习特征表示提供了新的方向。

---

        SAR 舰船检测：

                传统的SAR舰船检测 源于显著性检测，主要基于 手工特征、灰度特征、海洋特征 和 极化特征(Pan, Liao and Yang 2019)。由于