点击蓝字
关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
Column of Computer Vision Institute
由于卫星遥感中存在独特的距离和角度等因素，船舶在图像中呈现出较小的像素面积，导致特征表征不足。这使得船舶检测的性能不够理想，存在漏检和误检的可能性。此外，船舶遥感图像背景的复杂性以及船舶的密集分布，也对船舶检测的准确性产生了不利影响。
PART/1
概述
本次技术基于YOLOv8n提出了一种优化模型SSMA-YOLO。首先，引入了一种新设计的SSC2f结构，该结构融合了空间和通道卷积（SCConv）以及空间分组增强（SGE）注意力机制。这一设计减少了神经网络内的空间和通道冗余，在提高检测精度的同时降低了模型的参数数量。其次，新设计的MC2f结构采用了多维协同注意力（MCA）机制，能够有效地对空间和通道特征进行建模，提高了在复杂背景下的识别效率。此外，还设计了渐进式特征金字塔网络（AFPN）结构，用于逐步融合主干层的多层次特征，克服了多尺度变化带来的挑战。在船舶数据集上进行的实验表明，与最先进的单阶段目标检测模型YOLOv8n相比，所提出的模型平均精度均值（mAP）提高了4.4%，同时参数数量减少了23%。
PART/2
引言
尽管许多研究人员对船舶目标检测算法进行了改进，但无人机航拍俯视图像包含广阔的地形背景，冗余的背景信息给准确的船舶检测带来了挑战。此外，图像中可能包含许多大小各异的目标，较小的目标更难检测。这增加了漏检和误检的可能性。另一方面，无人机实时航拍识别对模型结构要求很高，要求模型在保持高精度的同时具备轻量级的特点。
因此，考虑到无人机航拍图像的特点，探索了在无人机航拍图像背景下船舶目标检测模型的结构和技术改进。所提出的模型在保持轻量级的同时，提高了模型在复杂背景和多目标尺度场景下的识别准确率。现有的问题和改进方案如下：
1.我们采用GhostConv来替换主干层和颈部层中的传统卷积，并引入了即插即用的SSC2f模块。该模块利用新设计的SCCBN来替换传统的瓶颈结构。通过对特征的分离和重构，减少了卷积神经网络中的空间和通道冗余。此外，该模块融入了SGE注意力机制，该机制根据每个语义组内的每个空间位置来调整各个因素的重要性，从而提高了检测精度。
2.为了增强模型在复杂背景下有效处理关键信息的能力，提出了一个名为MC2f的轻量级模块。该模块采用MCA注意力机制，有效地捕捉三个维度上的空间和通道特征，从而提高了模型从复杂背景中提取信息的能力。
3.为了解决YOLOv8n模型的FPN+APN模块对多尺度目标的特征融合能力较差的问题，使用AFPN结构进行优化，逐步融合特征并有效抑制不同层级之间的信息矛盾。这种优化改进了特征的选择和融合过程，增强了模型对关键特征的关注。结果是在面对多目标尺度问题时提高了目标识别准确率。
PART/3
新框架
SSMA-YOLO
YOLOv8是一种先进的单阶段模型，它使用统一的神经网络来预测图像中的边界框和目标类别。根据网络深度和宽度的不同，该模型明确划分为五种不同的架构：YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x。卫星船舶识别常常要应对复杂的海洋环境，例如海浪波动和天气变化。轻量级的结构有利于模型的快速推理。因此，在YOLOv8n的基础上，通过集成SSC2f和MC2f模块并添加AFPN模块，设计了用于遥感图像中船舶目标检测的SSMA-YOLO模型。SSMA-YOLO模型主要由四个部分组成：输入层、主干层、颈部层和检测层。其架构如下图所示。
输入层接收原始的遥感图像数据，将接收到的图像尺寸调整为640×640×3。它还采用了马赛克数据增强技术来提升模型的鲁棒性。
主干层从输入图像中提取有用的特征，包括边缘、纹理和形状，主要由GhostConv、SSC2f和SPPF模块组成。GhostConv模块对YOLOv8n中的传统CBS模块进行了优化，减少了结构冗余并加快了模型的计算速度。SSC2f模块旨在优化YOLOv8n中的C2f模块，进一步减少冗余。SPPF 模块通过对多尺度的特征进行池化和融合，增强了模型的特征提取能力。
颈部层的主要功能是整合主干层在不同层级提取的特征。为了优化特征融合的效果，颈部部分去除了1×1卷积的下采样层，并引入了新的MC2f模块来优化YOLOv8中的传统C2f模块，使模型更专注于目标特征。AFPN模块用于抑制不同层级特征之间的矛盾，进一步加强它们的融合，从而有效地提升模型在目标检测或图像识别等任务中的性能。
检测层负责利用从图像中提取的复杂特征来预测目标的位置和类别。该层采用了主流的解耦头结构，通过将像素级预测任务与特征提取过程分离，进一步提高了低级和高级特征之间语义关联的利用效率。分类功能对目标的边界框和类别进行分类。
模型轻量级优化
利用无人机航拍图像对船舶进行精确且快速的识别和检测，在确保海上安全、提高监测效率以及优化海洋资源管理方面起着至关重要的作用。YOLOv8n模型复杂的卷积结构导致模型参数数量过多，增加了计算负担和内存需求，这不利于在资源有限的环境中执行实时监测任务。为了解决这个问题，本研究利用GhostConv实现了传统卷积的轻量级版本。如下图所示：
GhostConv首先通过标准卷积操作生成特征图的一个子集。随后它基于这些特征图，使用成本较低的线性操作生成额外的特征图。此外，提出了一种新设计的SSC2f结构，以进一步优化模型，在优化卷积结构的基础上减少空间和通道冗余。
在YOLOv8中，C2f模块融合低级和高级特征图，以捕获丰富的梯度信息流。然而，包含大量复杂卷积的瓶颈（Bottleneck）模块显著增加了模型的参数规模和计算复杂度。为解决这一问题，我们提出了SSC2f模块，用新设计的SCCBN模块取代瓶颈模块。同时，引入 SGE 注意力机制以提高模型的准确性，如下图所示。
空间和通道重构卷积（SCConv）模块的主要作用是减少卷积神经网络中的空间和通道冗余，压缩CNN模型并提升其性能。它由两个单元组成：空间重构单元（SRU）和通道重构单元（CRU）。如下图所示，这两个单元协同工作以降低计算复杂度并减轻模型负担。
最后，在特征重要性向量B1、B2、B2的指导下，对通道进行细化特征Y可以通过合并上部特征Yi和下部特征Y2来获得渠道方式。空间群体智慧增强注意机制增强卷积神经网络性能的注意力机制（CNNS）在处理图像任务时。它有选择地对信息进行分组和编码特征映射以提取更丰富、更显着的特征表示。计算过程如下图所示。
PART/4
实验及可视化
数据集图像中的船舶检测具有重要的实用价值保障海上交通安全，提高监控效率，优化海上资源管理。本文的实验利用了来自船舶的遥感航空数据数据集。从船舶数据集中共收集了9697张航空和卫星图像，每个图像的大小为768 x 768。这些图像在活在当下，允许准确有效地检测图像中的船只。该数据集仅包含一类：船舶。它分为训练验证和以8:1:1的比例测试集。图像来自不同的海域，包括繁忙的港口、开阔的海洋和沿海地区，展示了一系列小型捕鱼船只船到大型货船，确保广泛覆盖不同的海洋环境本文介绍了选定的形心和尺寸如下图所示。
上图：Grad-CAM获得的YOLOv8n和SSMA-在当下的目标热图来自Ships数据集的图像。（II）YOLOv8n在Ships数据集上生成的目标热图。（III）SSMA生成的目标热图 - 活在当下的船舶数据资产上。为了验证本文提出的活在当下的SSMA-模型的优越性与YOLOv8n mtodel相比的遥感船舶检测任务，在相同条件下进行了对比实验，以评估两种模型的性能。结果如下表所示。
Ships数据集的部分比较目标检测结果，其中（a，c，e，g）是YOLOv8n和（b， d，f，h）的检测结果是活在当下的SSMA-的检测结果。
有相关需求的你可以联系我们！
END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐
🔗
扫一扫
1016
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
