57.3 AP！刷新COCO目标检测和实例分割新记录！谷歌提出复制-粘贴大法

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

上个月，Scaled-YOLOv4 刚刚刷新COCO 目标检测的新记录：55.8% AP！

昨天该数据又双叒叕被打破了！

谷歌拿下COCO目标检测和实例分割双项第一名！其中：

• 目标检测数据刷到57.3 AP；

• 实例分割数据刷到49.1 AP！

Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation

复制-粘贴是用于实例分割的强大数据增广方法

作者单位：谷歌大脑（Quoc V. Le等人）, 加州大学伯克利分校, 康奈尔大学

论文：https://arxiv.org/abs/2012.07177

从标题可以看出，本文的灵魂就是：Copy-Paste，简称复制粘贴大法好！本文虽然标题是用于实例分割，但同理用于mask的复制粘贴，也可以直接用于box的复制粘贴。

由图1简单粗暴看出加上Copy-Paste的涨点情况：

建立数据高效且可以处理稀有对象类别的实例分割模型是计算机视觉中的一项重要挑战。利用数据增广是解决这一挑战的有希望的方向。在这里，本文对复制-粘贴增广（[13，12]）进行了系统研究，例如将对象随机粘贴到图像上的分割。

实际上Copy-Paste这个思想之前就有了，比如ICCV 2017 《Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection》

ECCV 2018 《Modeling Visual Context is Key to Augmenting Object Detection Datasets》

先前关于Copy-Paste的研究依赖于对周围的视觉环境进行建模以粘贴对象。但是，本文发现随机粘贴对象的简单机制足够好，并且可以在强大的基线之上提供可靠的性能提升。此外，本文显示出Copy-Paste在半监督方法下是性能是直接"加法"的提升，其中半监督方法通过伪标签（例如自训练）利用额外数据。

本文主要创新点：

1. Blending Pasted Objects

公式：I1 × α + I2 × (1 - α)

2. Large Scale Jittering

3. Self-training Copy-Paste

这三点其实很容易理解（不用翻译，直接看懂），没有花哨的处理，但实验证明涨点明显！

关于Large Scale Jittering如下图所示：

实验结果

在COCO实例分割上，本文实现了49.1个mask AP和57.3个box AP，与之前的最新技术相比，分别提高了+0.6个mask AP和+1.5个box AP。

值得注意的是，在baseline上只加上Copy-Paste，在COCO上就可达56.0 AP！就已经刷新目前最高记录；然后在加上self-training，直接助力到57.3 AP！

看样子，COCO目标检测刷到60 AP也不远了...

下面还有一些实验结果，也相当有意思：

本文进一步证明，Copy-Paster可以显著改善LVIS基准。我们的基准模型在罕见类别上的表现优于LVIS 2020挑战赛的获胜者，获得+3.6 Mask AP。

上述论文PDF下载

后台回复：复制粘贴大法，即可下载上述论文，赶紧学起来！

目标检测综述下载

后台回复：目标检测二十年，即可下载39页的目标检测最全综述，共计411篇参考文献。

下载2

后台回复：CVPR2020，即可下载代码开源的论文合集

后台回复：ECCV2020，即可下载代码开源的论文合集

后台回复：YOLO，即可下载YOLOv4论文和代码

重磅！CVer-目标检测 微信交流群已成立

扫码添加CVer助手，可申请加入CVer-目标检测 微信交流群，目前已汇集4000人！涵盖2D/3D目标检测、小目标检测、遥感目标检测等。互相交流，一起进步！

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加群

▲长按关注我们

整理不易，请给CVer点赞和在看！