论文笔记：基于改进YOLOv8s的无人机图像场景小目标检测模型

摘要

为了解决无人机图像场景中密集小目标和背景噪声等问题，提出了一个基于改进YOLOv8s的小目标检测模型。该模型采用了并行多尺度特征提取模块（PMSE），通过平行卷积和可变形卷积生成适应性权重，并将权重信息整合到浅层特征图中，从而增强对小目标特征提取能力。此外，设计了一个尺度补偿特征金字塔网络（SCFPN）来整合浅层神经网络层的空间特征信息和网络高层的语义数据，以提高网络表征的能力。同时，去掉了原检测层中的最大目标检测层，应用了超小目标检测层，以改善网络对小目标的检测性能。最后，使用WIOU损失函数平衡数据集中的高、低质量样本。实验结果表明，所提出的模型能够提高无人机图像场景中小目标的检测精度。

运用的算法

 无人机目标检测模型的整体结构

面临的挑战：潜在的图像遮挡和信息丢失的风险等

算法描述

该论文提出了一种针对无人机目标检测问题的改进模型，主要通过增强小物体的检测精度来提高整体性能。该模型基于YOLOv8s，并提出了三个改进部分：PMSE模块、SCFPN模块和WIOU损失函数。

PMSE

并行多尺度特征提取模块（Parallel Multi-Scale Feature Extraction Module）旨在改善YOLOv8s中浅层特征图中的语义信息混乱和感受野过小的问题。它通过并行处理三层特征图，引入了卷积核自适应调整输入通道数的分支、通过不同卷积核进行特征提取的分支以及全局平均池化后重新组织空间通道的分支。这些分支产生的特征图经过拼接后得到一个尺寸更大的特征图，然后压缩成一维向量，最后通过sigmoid非线性映射将其与原始特征图相乘以调整各通道的重要性。

该模块将特征输入到两个平行膨胀卷积和可变形卷积中;通过压缩通道和扩展自有模块来生成不同感受野的自适应权重。将生成的感受野权重通过非线性映射集成到初始特征图中，提高小目标目标物体信息的表示能力。

以及提出的PMSE模块的结构参数：

SCFPN

尺度补偿特征金字塔网络（Scale Compensation Feature Pyramid Module）是为了解决在深度学习计算过程中网络复杂度增加而导致的特征信息丢失问题。它采用了PA-FPN结构的基础上进行了改进，去除了只有一层输入节点的节点，增强了低层和高层特征之间的交互能力。此外，它还增加了多个上采样操作，将浅层网络的位置信息与深层网络的语义信息融合起来，从而提高了模型对于小目标的定位准确性。（对于小目标，浅层特征图中的详细信息便于精确定位）

将网络骨干网的浅层特征图逐层输入到颈部，进一步从高层次的维度特征中提取小目标特征信息。将预测头中原有的大目标检测头替换为超小目标检测头，提高了对小目标位置和大小信息的感知能力。

PA-FPN（Path Aggregation FPN）：

PA-FPN主要关注特征融合路径的优化和特征信息的传播。它提出了一种新的特征融合方式，通过引入路径聚合模块（Path Aggregation Module），有效地增强了不同层级特征的表达能力和信息传递效率。PA-FPN通过多个路径的并行与交叉聚合，以更有效地利用深层网络中的信息，从而提高目标检测或语义分割等任务的性能。
SCFPN（Semantic Context Feature Pyramid Network）：

SCFPN则更注重语义上下文的融合和利用。它引入了语义上下文模块（Semantic Context Module），旨在增强特征金字塔网络在处理复杂场景和语义信息时的表达能力。SCFPN利用语义分割任务中学习到的上下文信息，将这些信息有效地整合到特征金字塔的不同层级中，以改善物体边界的精确性和物体语义的一致性。

WIOU损失函数

WIOU损失函数（Weighted Intersection Over Union Loss Function）是一种用于优化动态聚焦的小目标检测问题的损失函数。它采用了WIOUv3算法，通过动态分配高和低质量锚框的权重来实现更好的边界框回归。相比于CIOU损失函数，它可以更好地平衡数据集中的高质量和低质量样本，从而提高了模型的准确性和鲁棒性。

WIOUv1采用的是两层注意力机制：

WIOUv3采用动态梯度增益分配策略，合理分配高质量锚定帧的高、低权值。

WIOUv3通过计算聚焦系数来增加聚焦机制，实现了动态聚焦的边界帧回归损失，并优化了无人机图像中对小物体的动态聚焦。此外，引入WIOUv3，并不会导致额外参数的增加，从而保持亮度

算法改进

该模型在YOLOv8s的基础上引入了PMSE模块、SCFPN模块和WIOU损失函数这三个改进部分

• PMSE模块通过对浅层特征图的语义信息进行扩展，使得模型能够更好地捕捉到小目标的细节信息；
• SCFPN模块则通过增强低层和高层特征之间的交互能力和位置信息的融合，进一步提高了模型的定位准确性；
• WIOU损失函数则通过动态分配高和低质量锚框的权重，实现了更好的边界框回归，从而提高了模型的整体性能。无人机目标检测模型的整体结构  

实验

针对无人机图像场景下的小目标检测问题所提出的模型，并进行了多组对比实验以验证其性能表现。

数据集：VisDrone2019和DOTA

选取了多个经典两阶段模型和一阶段模型以及最近提出的若干先进模型作为比较对象。其中，在VisDrone2019数据集上的实验结果表明，与YOLOv8s等其他模型相比，所提模型的mAP50提高了11.7%，参数数量减少了0.9M。此外，与LV-YOLOv5等次优模型相比，所提模型的mAP50也有所提高。综合来看，所提模型在小目标检测准确率方面取得了显著提升，同时具备较高的计算效率和可行性。

在DOTA数据集上的实验结果表明，与YOLOv8s等其他模型相比，所提模型的mAP50提高了3.5%，参数数量减少了0.9M。尽管SCA-YOLO等模型在检测精度方面表现出色，但所提模型在参数数量和计算量方面更加轻量化。综合来看，所提模型在小目标检测准确率和计算效率之间达到了较好的平衡，满足了无人机实时检测的需求。

最终实验表明，改进的YOLOv8s无人机目标检测算法在实际检测精度上有所提高。但是，浮点运算增加了。考虑到无人机探测资源有限，实时探测性能降低;因此，可以进一步研究具有高实时性性能的模型。

论文总结

文章优点

• 通过改进YOLOv8s算法，提高在不同条件下的小目标检测准确性。
• 提出的并行多尺度特征提取模块（PMSE），通过压缩通道和扩展自有的模块来生成适应于不同感受野的权重，并将这些权重整合到初始特征图中以提高小目标信息的表示能力。
• 提出的尺度补偿特征金字塔网络（SCFPN）通过逐步输入浅层特征图进入颈部，进一步提取小目标特征信息。
• 应用了WIOU损失函数优化无人机图像中小物体的动态聚焦，提高了检测准确性和稳定性。

方法创新点

• 利用并行多尺度特征提取模块（PMSE）和尺度补偿特征金字塔网络（SCFPN），提高了小目标检测的准确性和鲁棒性。
• 引入了WIOU损失函数，优化了无人机图像中小物体的动态聚焦，增强了检测效果。

思考

由于该模型的改进增加了浮点运算量，导致实时性能下降，因此可以进一步研究具有高实时性能的模型。同时，可以考虑将该算法应用于其他场景中的小目标检测任务，如交通监控等。

论文网址：Remote Sensing | Free Full-Text | A Small-Object Detection Model Based on Improved YOLOv8s for UAV Image Scenarios

补充

两阶段模型虽然表现出较高的检测精度，但具有大量的模型参数，从而导致计算时间延长。因此，基于两阶段的模型有许多局限性。与基于两阶段的方法相比，单阶段目标检测模型通过一次计算完成目标位置估计和类别分类，具有检测速度快。

ViT模型在处理高分辨率图像时产生了大量的计算量，导致对小目标对象的检测性能较差。DETR模型使用一个固定长度的目标查询向量来与图像特征进行全局交互。该方法需要长时间的注意力权重训练，以关注特征图上的稀疏位置和关键位置，导致模型收敛时间长，对小目标的检测性能较差。BiFPN，实现自下而上的浅特征图和深度特征图的双向融合，通过同层特征信息流融合更多特征，缓解遮挡条件导致的误检测。

注意机制的应用可以提高对小物体的注意。然而，在浅层特征层中包含大量的背景信息会阻碍注意机制关注微小物体的过程，从而导致在特征有限的情况下表现次优。一些只关注于位置通道的注意机制会受到背景噪声的影响，导致模型的检测精度较低。此外，多注意机制需要多个注意计算矩阵，与单通道注意相比，这必然会增加大量的计算量，降低了模型的实时性能。因此，在该模型中设计了一个特征增强模块（PMSE），该模块在对输入特征进行分割后，通过三个卷积层从空间和通道中提取小目标特征，通过分割特征来减少计算。