双向特征融合的数据自适应SAR图像舰船目标检测模型

双向特征融合的数据自适应SAR图像舰船目标检测模型

人工智能技术与咨询 昨天

本文来自《中国图象图形学报》，作者张筱晗等

摘要： 利用合成孔径雷达（synthetic aperture radar，SAR）图像进行舰船目标检测是实施海洋监视的重要手段。基于深度学习的目标检测模型在自然图像目标检测任务中取得了巨大成功，但由于自然图像与SAR图像的差异，不能将其直接迁移到SAR图像目标检测中。针对SAR图像目标检测实际应用中对速度和精度的需求，借鉴经典的单阶段目标检测模型（single shot detector，SSD）框架，提出一种基于特征优化的轻量化SAR图像舰船目标检测网络。方法 改进模型并精简网络结构，提出一种数据驱动的目标分布聚类算法，学习SAR数据集的目标尺度、长宽比分布特性，用于网络参数设定；对卷积神经网络（convolutional neural network，CNN）提取的特征进行优化，提出一种双向高低层特征融合机制，将高层特征的语义信息通过语义聚合模块加成到低层特征中，在低层特征中提取特征平均图，处理后作为高层特征的注意力权重图对高层特征进行逐像素加权，将低层特征丰富的空间信息融入到高层特征中。结果 利用公开的SAR舰船目标检测数据集（SAR ship detection dataset，SSDD）进行实验，与原始的SSD模型相比，轻量化结构设计在不损失检测精度的前提下，样本测试时间仅为SSD的65%；双向特征融合机制将平均精确度（average precision，AP）值由77.93%提升至80.13%，训练和测试时间分别为SSD的64.1%和72.6%；与公开的基于深度学习的SAR舰船目标检测方法相比，本文方法在速度和精度上都取得了最佳性能，AP值较精度次优模型提升了1.23%，训练和测试时间较精度次优模型分别提升了559.34 ms和175.35 ms。结论 实验充分验证了本文所提模型的有效性，本文模型兼具检测速度与精度优势，具有很强的实用性。

      舰船目标检测是实施海洋监视的重要环节，在军事侦察、海洋运输管理、海上犯罪打击等领域都有着重要应用(Allard等，2008)。得益于全天时、全天候的优势，合成孔径雷达(synthetic aperture radar，SAR)图像成为一种有效的舰船目标遥感数据源，SAR舰船目标检测得到了广泛研究。传统的基于海杂波建模思想的SAR舰船检测方法通常针对某一场景进行建模(Dalal和Triggs，2005；Agrawal等，2015；Pappas等，2018)，无法同时兼顾多类应用场景。而基于数据驱动的深度学习目标检测方法则不受场景影响，只要提供充足多样的数据，即可训练深度网络自动提取图像特征，实现目标检测。

得益于计算机技术与人工智能技术的发展，在计算机视觉领域，基于深度学习的目标检测方法取得了很多检测任务的最佳性能。经典的目标检测模型，包括以Faster RCNN(region convolutional neural network)(Ren等，2017)为代表的双阶段检测模型、以YOLO(you only look once)(Redmon等，2015)和SSD(single shot multi-box detector)(Liu等，2016)为代表的单阶段检测模型都被引入到SAR舰船检测中。与传统方法相比，这些模型多是端到端的，并且在精度和泛化能力上有了很大提升。但是，将这些模型从自然图像目标检测迁移到SAR舰船目标检测时仍面临着一些问题:1)这些模型参数，如网络层数和锚框设置多是针对Pascal VOC(visual object classes)(Everingham等，2015)和MS COCO(Lin等，2014)等自然图像数据集设定的，而这些设置未必适合SAR舰船数据; 2)数据量相对较小的检测数据集往往不足以从头训练规模较大的检测模型，通常做法是在检测模型初始化时，将特征提取部分直接载入大型自然图像分类数据集(如ImageNet等)预训练好的模型参数，然后使用检测数据集进行微调; 3)分类任务与检测任务、自然分类数据集与SAR目标检测数据集存在偏差; 4)SAR图像自身的一些特点给检测增加了难度，如受空间分辨率与成像机理影响，图像中舰船目标细节信息少，各类舰船尺度不一、分布各异等。在设计SAR舰船目标检测模型时, 要考虑这些问题。Kang等人(2017)和Yang等人(2018)根据使用的遥感舰船数据重新设置了检测模型参数。Deng等人(2019)利用密集连接网络作为特征提取网络，并采用了特征重用等策略，可以从头训练。为了提升SAR舰船目标检测的精度，学者利用多种方式对网络提取的特征进行优化，其中，特征融合是一项常用策略(Jiao等，2018；Zhang等，2019)。自从Lin等人(2017)提出特征金字塔网络(feature pyramid network，FPN)，其高低特征层融合的思想大量用于多种模型。卷积神经网络(convolutional neural network, CNN)在提取特征过程中，随着网络层数的加深与池化层的应用，深特征层有着更大的感受野，能够提取出更多抽象的全局语义特征，而浅层特征空间信息更加丰富。为弥补浅层特征语义信息的不足，将高层特征处理后加入到浅层特征。Wang等人(2018)将FPN中的语义聚合策略应用在SAR舰船检测中，与原始的SSD模型相比，显著提升了舰船检测精度。Kang等人(2017)将浅层特征、中层特征与高层特征都融合起来，输入到Faster RCNN模型。特征融合的策略能够提升模型性能，但也增加了运算量，此外，大部分融合模型的融合通道是由上至下的，没有考虑高层信息中空间信息的不足。

针对上述问题，本文对SAR图像舰船目标检测进行研究，针对SAR图像的特点改进了经典检测模型SSD，同时提升了目标检测的速度和精度。本文工作包括两部分：1)根据SAR数据的特点，精简了SSD模型结构，提出了一种数据集目标特性聚类算法，用于指导网络参数的设置；2)借鉴特征融合思想，提出一种双向特征融合机制，除了利用语义聚合增强浅层特征的语义信息，同时设计了一种新的基于注意力机制的融合方法，将浅层特征丰富的空间信息加成到高层特征。前者主要改进模型适应SAR舰船检测任务，后者进一步优化模型，提升检测精度。在公开SAR舰船目标检测数据集SSDD(SAR ship detection dat