小目标神器！TPH-YOLOv5：将Transformer预测加载Yolov5！

1、研究背景

针对无人机捕获场景的目标检测是最近比较流行的一项任务。由于无人机在不同高度飞行，目标尺度变化较大，这样给模型的优化也带来了很大的负担。此外，在无人机进行高速低空飞行时，也会带来密集目标的运动模糊问题。

图1 小目标与密集问题

为了解决上述2个问题，本文提出了TPH-YOLOv5。TPH-YOLOv5在YOLOv5的基础上增加了一个prediction heads 来检测不同尺度的目标。然后通过探索Self-Attention的预测潜力使用了Transformer Prediction Heads(TPH)代替原来的prediction heads。同时作者还集成了卷积块Attention模型(CBAM)来寻找密集场景下的注意力区域。

为了进一步改进TPH-YOLOv5，作者还提供了大量有用的策略，如数据增强、多尺度测试、多模型集成和使用额外的分类器

本文的贡献如下:

• 增加了一个预测头来处理目标的大尺度方差；

• 将Transformer Prediction Heads (TPH)集成到YOLOv5中，可以在高密度场景中准确定位目标；

• 将CBAM集成到YOLOv5中，帮助网络在区域覆盖范围大的图像中找到感兴趣的区域；

• 提供有用的Tricks，并过滤一些无用的Trick，用于无人机捕获场景的目标检测任务；

• 使用self-trained classifier来提高对一些容易混淆的类别的分类能力

  2、数据增强 

• MixUp从训练图像中随机选取2个样本进行随机加权求和，样本的标签也对应于加权求和
• 不同于通常使用零像素mask遮挡图像的遮挡工作，CutMix使用另一个图像的区域覆盖被遮挡的区域
• Mosaic是CutMix的改进版。拼接4幅图像，极大地丰富了被检测物体的背景

• 3、小目标影像增强

• coco数据集定义的大中小数据的尺寸
• 

 我们专注于最先进的物体探测器，Mask-R-CNN[18]，在一个具有挑战性的数据集，MS COCO。我们注意到这个数据集关于小对象的两个属性。首先，我们观察到在数据集中包含小目标的图像相对较少，这可能会使任何检测模型倾向于更多地关注中型和大型目标。其次，小目标所覆盖的区域要小得多，这意味着小目标的位置缺乏多样性。我们推测，这使得目标检测模型很难在测试时间内推广到小目标，因为它们出现在图像中探索较少的部分。

我们通过对包含小物体的图像进行过采样来解决第一个问题。第二个问题是通过在每个包含小对象的图像中多次复制粘贴小对象来解决的。当粘贴每个对象时，我们确保粘贴的对象不会与任何现有对象重叠。这增加了小物体位置的多样性，同时确保这些物体出现在正确的环境中

1、小目标的复制粘贴 

在将对象粘贴到新位置之前，我们对其应用随机转换。我们缩放对象通过改变对象的大小±20%和旋转它±15◦。我们只考虑无遮挡的物体，因为粘贴不相交的分割掩模，中间有看不见的部分，往往会导致不太真实的图像。我们确保新粘贴的对象不会与任何现有对象重叠，并且距离图像边界至少5个像素