Cut, Paste and Learn方法解读

Abstract

问题背景：

• 标注数据的缺乏：在实例检测任务中，部署物体检测模型的一个主要障碍是缺乏大量标注数据。例如，在一个特定的厨房环境中找到包含实例的大型标注数据集是不太可能的。每当面对新的环境和新的物体实例时，都需要进行昂贵的数据收集和标注工作。

研究贡献：

• 解决方法：本文提出了一种简单的方法，可以以最小的努力生成大量标注的实例数据集。
  • 关键洞察：研究者的关键洞察是，仅仅确保“局部真实感”（patch-level realism）就能为当前的物体检测模型提供足够的训练信号。
  • 方法概述：他们通过自动“剪切”物体实例并将其“粘贴”到随机背景上来生成数据集。

挑战与解决：

• 初步方法的不足：这种直接“剪切-粘贴”的方法会产生像素伪影，这些伪影会导致训练的模型表现不佳。
• 解决方案：研究者展示了如何在训练过程中使检测器忽略这些伪影，并生成能够在真实数据上表现优异的训练数据。

实验结果：

• 性能表现：与现有的合成数据生成方法相比，该方法表现更优。当将该方法生成的合成数据与真实图像结合使用时，在基准数据集上的相对性能提升超过21%。
• 跨领域应用：在跨领域设置中，该方法生成的合成数据仅与10%的真实数据结合使用时，其表现优于仅使用全部真实数据进行训练的模型。

1. Introduction

背景： 想象一下在厨房环境中使用一个物体检测系统。这个系统不仅需要识别不同类型的物体，还需要区分同一类物体的不同实例，例如“你的杯子”和“我的杯子”。尽管在视觉识别方面取得了巨大进展，并在基准检测数据集上有详细的记录，人们可能会期待能够轻松部署一个最先进的系统来满足这一需求。然而，使用最先进的检测系统的最大缺点之一是训练所需的大量标注。对于