Background Matting: The World is Your Green Screen

文章要点

用手持相机拍摄的图片(包含主体) + 小位移背景图 (不包含主体）作为模型的主要输入，并先在Adobe Matting Dataset 合成数据集上进行正常监督学习，最后再通过teacher-student learning + adversarial learning 减少合成数据和真实拍摄数据间的 domain gap， 提高模型的泛化能力。

 

1. 模型输入

不同于matting常见的 image + trimap 组合， 论文提出使用image I + background B‘ 作为模型的主要输入。 除此，论文还提出使用其它模型自动生产的rough segmentation S 以及动态帧 M 作为联合输入。

2. 模型结构

鉴于多输入，论文提出使用Context Switch Block 来对各个输入项进行特征融合，代替输入间直接concat， 而且论文argue that CS Block architecture helps to generalize from the synthetic-composite Adobe dataset to real data。 

3. 模型训练

1）先采用标准的监督学习，在Adobe Dataset上训练得到 teacher model, 注意此时无GAN based 的对抗学习模块。

Supervised Training on the Adobe Dataset with following loss：

2）为了 bridge domain  gap, 在真实无标注数据上，采用与teacher model具有相同结构的模型作为student model，以teacher model 产生的 alpha 作为 pseudo ground-truth, 并加入 GAN based 的对抗学习模块，共同监督 student model 的训练。

 Adversarial Training on Unlabelled Real data

       

 

 

本文的主要亮点在于1）输入上采用原图+背景图组合代替原图+trimap并为之设计合理的模型结构，2）减少domain shift 影响的训练方法，即learns from a mixture of labeled synthetic and unlabeled real world images.