CVPR 2021 Removing the Background by Adding the Background: Towards Background Robust Self-supervise

动机

background cheating：目前常用的视频数据集通常对场景和目标结构存在较大的隐性偏差，使得时间结构变得不那么重要，即预测高度依赖于视频背景而不是运动，使得模型容易受到背景变化的影响。这种现象被命名为background cheating。

​ – 例如，一个训练过的模型可能仅仅因为看到了场地，就把一个动作归类为踢足球，而没有真正理解侧手翻的动作。

方法

Background Erasing (BE)：为了防止模型的背景欺骗，使模型具有更好地泛化，本文提出通过增加背景来减小背景的影响，并鼓励模型在操作中学习一致的特征。具体地说，给定一个视频，随机选择一个静态帧，并将其添加到每个其他帧中作为噪音，以构建一个注意力分散的视频序列。该模型由一个已有的自监督任务和一个一致性约束来训练。通过一致的正则化，强制使模型将注意力分散的视频的特征和原始视频的特征拉近，从而明确限制背景对模型的影响，更多地关注运动变化。通过对视频背景进行打乱，要求其特征与原始视频一致，达到使模型不过度依赖背景的目的，从而缓解背景欺骗问题。

如下图所示。对于每个输入视频，首先从不同的空间位置随机裁剪两个固定长度的剪切视频，分别对这两个数据进行数据增强，保证输入的剪切视频在像素层次上分布不同，但在语义层次上一致。将两个剪切视频直接输入到三维主干中提取特征表示，首先通过增加的语义不变的静态帧噪声的干扰，生成对应的两个注意力分散的视频特征，将两个视频特征通过现有的自监督方法强制拉近。