Simple Copy-Past is a Strong Data Augmentation Method for Instance Segmentation 论文笔记

Simple Copy-Past is a Strong Data Augmentation Method for Instance Segmentation

论文链接： https://arxiv.org/abs/2012.07177
代码链接： https://github.com/conradry/copy-paste-aug

一、 Problem Statement

对实例分割提出一个数据增广的方式。

二、 Direction

简单的复制粘帖目标进行数据增广。

三、 Method

核心的思想是:
目标从一张图中复制然后粘帖到另一张图。这就需要考虑训练数据的组合:

1. 选择从哪张source image 复制到 target image。
2. source image中哪个目标会被复制。
3. 粘帖到target image的位置。

作者发现，简单地随机选择上面的组合，能达到很好的效果。

通过上图可以看出，作者随机挑选两张照片，随机选定目标和目标个数，随机复制到target image的任何位置，随机 jittering, scaling, horizontal flipping两张照片。其中会把完全重叠的目标删除，更新部分折叠的目标标注。 就是一切都是随机。
同时作者也使用了Blending Pasted Objects, Large Scale Jittering 和 Self-training Copy-Past。实验发现 Blending Pasted Objects 提升不大，Large Scale Jittering 相对于 Standard Scale Jittering 提升较大。

四、 Conclusion

思路简单但有效，涨点利器，容易拓展到现有模块。感觉也能一定程度上解决数据不平衡的问题。

Reference