自监督论文阅读笔记 Self-supervised Visual Representation Learning for Fine-Grained Ship Detection

       Abstract：对于细粒度的船舶检测，标注需要一定的专业知识，模型很难识别出一些难以区分的类别。在本文中，提出了一种用于自监督视觉表示学习的Siamese 孪生网络，以减少对大量标记数据的依赖。同时，本文收集并标记了一个名为 HarbourShips 的细粒度船舶数据集。本文 以自监督的方法预训练主干模型，通过 优化对比损失 来学习有效的视觉特征。特征提取器以有监督的方式进一步 微调用于船舶检测的下游任务。

       

       在某些特定领域（如医学图像、细粒度船舶检测），标记数据集总是很小，因为某些特定领域的标记 需要特定的知识。这些工作很难满足特定领域的精度要求。

       本文引入了自监督学习的代表性算法 SimCLR[2]，以缓解缺乏标记的细粒度船舶图像。具体来说，选择 YOLO v3[3] 作为本文的船舶检测模型。本文在一个充足的未标记船舶数据集而不是 ImageNet [1] 上预训练主干，并在本文提出的小型标记船舶数据集上微调模型。

       Contributions：(1) 本文收集了名为 HarbourShips 的细粒度船舶数据集，其中包含船舶的 7 个子类。 

                       (2) 本文提出了一个 基于 DarkNet-53 的孪生网络 来学习具有代表性的视觉特征，并考虑优化对比损失。            

                       (3) 本文的模型在HarborShips 数据集和 SeaShips 上取得了令人兴奋的结果。

       数据集的构建：在目标检测领域的许多开源数据集，如 PASCAL VOC 数据集 [4] 和 COCO 数据集 [5]，虽然包含船舶的对象，但船舶数量相对较少，船舶类别也不丰富。其中大部分仅将所有细粒度船舶归为一类船舶。

                       使用固定在港口的可见光传感器来收集我们的船舶图像。

                       本文总共使用 21600 张图像作为我们的未注释数据集进行自监督学习。

       本文选择 SimCLR 作为我们的流程是因为它简单。

       DarkNet-53 被选为我们的主干。MLP的模块在预训练后被丢弃。

       在本文中，应用了三种增强方法：随机裁剪、随机高斯模糊和随机颜色失真。 SimCLR 已经表明，随机裁剪和随机颜色失真的组合对于提高性能很重要。

       该模型期望正样本对之间的相似度高，而负样本对之间的相似度低。本文使用图像样本对之间的 余弦相似度。

       与 simCLR[2] 一样，本文使用 NT-Xent[11] 作为损失函数。τ是可调温度系数，用于将余弦相似度范围控制在 [ − 1, 1] 内；

       本文的模型比其他方法更准确，特别是对于浮标等小物体。

       与 HarborShips 数据集相比，SeaShips(7000) 数据集上所有模型的 mAP 更高。这主要是因为本文构建的HarborShips数据集比较复杂。

       本文的方法中 绘制了更多的船舶边界框。这代表了我们通过 对未注释数据进行预训练 来学习更具体的船舶视觉特征的方法。

       对大量未标记的船舶图像进行预训练 可以让模型 学习更具体的船舶特征，从而使模型 具有更通用的能力。

       目前的目标检测算法大多基于监督学习，性能受限于标注数据的数量。此外，对于特定任务，例如细粒度的船舶检测，注释是昂贵的并且需要专业知识。

       本文种，首先使用一种自监督的方法来学习特定的视觉表示。然后本文在船舶检测的监督学习中微调我们的模型。本文收集并标记了一个名为 HarbourShips 的细粒度船舶数据集。本文的模型在提出的数据集上将 mAP 提高了 8.9%。