CutOut、CutMix 与 Mosaic 增强

概述

由于数据增强不影响离线推理时的模型速度性能，因此其被当做一类 bag of freebies 方法受到广泛研究。继MixUp后，一些新的数据增强方法陆续被提出。

---

CutOut

CutOut 使用一个固定大小的正方形 mask 模板，将图像中一片区域像素值全都设置为灰色。

对于不同的数据集设置了不同的 mask 模板边长大小：在cifar10上选择16×16大小的正方形 mask，在cifar100上选择8×8的 mask，SVHN 上选择20×20的mask。

这使得模型不仅仅关注图像中的某些特定信息，而更加关注到图像更多的整体区域。

由于 dropout 在特征层中进行，某个通道 dropout 掉的信息在其余通道仍然可能存在，而 CutOut 将完全抛弃图像中一个区域的信息，因此 CutOut 更应该被理解成数据增强而不是 dropout。

原文链接

---

CutMix

CutMix 认为直接在图像中添加一个黑色区域或者噪声区域造成了信息丢失，这不是我们想要的。因此它提出对两张图像进行组合，使得产生的图像更自然。

相比 MixUp，CutMix 将图像中的一个图像块用另一张图像的图像块进行替换；相比 CutOut，CutMix 包含了两个目标的信息。最终 CutMix 起到了降低过拟合风险的作用，并且在精度指标上，相比 MixUp 和 CutOut 都有提升。

原文链接

---

Mosaic

Mosaic 在 YOLO v4 中被提出并开始得到使用。它在 CutMix 的基础上，将组合的图像扩张到了四张。给定四张图像，按照上下左右的顺序进行拼接。让目标检测模型更能检测出不处在常见背景中的目标，而且每次的 batch normalization 都将包含四张图片的信息，降低了对大 batch size 的需求。