多图混合数据增强（CutMix、mosaic、stitcher）

前言

参考文章1
参考文章2

三者都是多张图片混合成一张的形式来进行数据增强，都对数据集性能有一定提升

一、cutmix（仅混合两张图）

CutMix的处理方式比较简单，对一对图片做操作，简单讲就是随机生成一个裁剪框Box,裁剪掉A图的相应位置，然后用B图片相应位置的ROI放到A图中被裁剪的区域形成新的样本，计算损失时同样采用加权求和的方式进行求解。就是将图A一部分区域cut掉但不填充0像素，然后随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配。

二、mosatic（混合了四张图）

yolov4里面的数据增强方式。

对四张图片进行拼接，每一张图片都有其对应的框框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。

stitcher（四张图像的拼接来提升对小目标的检测）

他就有点特别了，他不像上面两种方法，并不是对数据集所有图片都进行一下图像拼接来增强数据集从而提高一下网络性能。他通过一个loss的反馈学习来判断是否需要进行stitcher操作。

提出背景

在论文中，作者分析了许多数据集发现：

操作流程：

在训练过程中，根据小目标对loss的贡献比率确定是否要在下一次迭代提供给网络拼接的图像训练。
作者从训练样本对Loss贡献不平衡的角度思考小目标检测问题，通过设计Loss反馈驱动的机制和图像拼接的方法显著改进了小目标检测