Background Matting: The World is Your Green Screen

文章要点

用手持相机拍摄的图片(包含主体) + 小位移背景图 (不包含主体)作为模型的主要输入,并先在Adobe Matting Dataset 合成数据集上进行正常监督学习,最后再通过teacher-student learning + adversarial learning 减少合成数据和真实拍摄数据间的 domain gap, 提高模型的泛化能力。

 

1. 模型输入

不同于matting常见的 image + trimap 组合, 论文提出使用image I + background B‘ 作为模型的主要输入。 除此,论文还提出使用其它模型自动生产的rough segmentation S 以及动态帧 M 作为联合输入。

2. 模型结构

鉴于多输入,论文提出使用Context Switch Block 来对各个输入项进行特征融合,代替输入间直接concat, 而且论文argue that CS Block architecture helps to generalize from the synthetic-composite Adobe dataset to real data。 

3. 模型训练

1)先采用标准的监督学习,在Adobe Dataset上训练得到 teacher model, 注意此时无GAN based 的对抗学习模块。

Supervised Training on the Adobe Dataset with following loss:

2)为了 bridge domain  gap, 在真实无标注数据上,采用与teacher model具有相同结构的模型作为student model,以teacher model 产生的 alpha 作为 pseudo ground-truth, 并加入 GAN based 的对抗学习模块,共同监督 student model 的训练。

 Adversarial Training on Unlabelled Real data

       

 

 

本文的主要亮点在于1)输入上采用原图+背景图组合代替原图+trimap并为之设计合理的模型结构,2)减少domain shift 影响的训练方法,即learns from a mixture of labeled synthetic and unlabeled real world images. 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 背景抠图(Background Matting)是一种计算机视觉技术,可以将前景对象从背景中分离出来并以透明形式呈现,常用于视频合成、虚拟背景、视频美颜等应用中。传统的背景抠图方法需要在拍摄时使用绿色或蓝色幕布作为背景,通过色彩分离的方式将前景和背景分离。而现代的背景抠图方法则利用深度学习模型,通过训练大量的数据来学习前景和背景之间的区别,从而实现更加精准的抠图效果。 ### 回答2: 背景去除是一种图像处理方法,通过将图像中的前景与背景分离,在保留前景内容的同时消除背景噪声。背景去除被广泛应用于图像处理、计算机视觉、计算机图形学、人工智能等领域。 背景去除主要分为两种方法:基于颜色模型的方法和基于深度学习的方法。基于颜色模型的方法常用于处理静态图像,通过对颜色的阈值判断将前景与背景分离。而基于深度学习的方法则是通过训练神经网络来自动从图像中学习前景与背景的差异,对目标进行精确的分离。 背景去除对于实时视频分析与处理十分重要,例如视频会议、智能家居、自动驾驶等应用,都需要时刻对图像中的前景与背景进行识别与分离。 目前,传统算法在处理复杂场景时效果较差,而基于深度学习的方法如背景Matting则能够更准确、更高效地完成任务。背景Matting不仅可以进行前景背景分离,还能够保留前景中的半透明部分。 总之,背景去除是图像处理技术中一项重要的任务,可以有效提高图像质量和分析效率。随着深度学习技术的不断发展,背景去除的效果和应用场景将会得到进一步拓展。 ### 回答3: 背景抠图(Background Matting)是一种对图像进行处理的方法,其目的是将图像中某个区域的前景物体从背景中分离出来。这个方法主要是在计算机视觉和计算机图形学领域中应用。背景抠图的主要应用是对图像进行剪裁、合成和增强等处理,使得图像更符合我们所需的内容和效果。 传统的背景抠图方法主要采用图像的色彩和亮度进行分析,将图像中颜色相近、亮度相似的背景元素进行合并,然后用遮罩层将背景与前景分离,达到抠图的效果。但是由于图像中背景和前景的复杂度和分布情况各不相同,在某些情况下,传统的抠图方法并不能分离出完整的前景物体。 为了解决这个问题,研究者们提出了更加高级的背景抠图方法,如深度学习和人工智能。这些新的方法能够更加准确地分离出前景和背景,还能够使前景与背景之间的过渡更加自然。同时,这些方法还具有很高的自适应性,能够处理各种不同颜色和亮度的图像,从而实现更加精准的图像抠图效果。 总之,背景抠图是一种非常重要的图像处理方法,能够广泛应用于电影制作、广告设计、人像处理、虚拟现实等领域,随着研究者们的不断努力,背景抠图方法将会更加成熟和完善,为我们带来更好的视觉体验和图像处理效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值