2020 CVPR之image matting：Background Matting：The World is Your Green Screen

最新推荐文章于 2023-11-02 14:43:56 发布

用GAN得有GPU

最新推荐文章于 2023-11-02 14:43:56 发布

阅读量3.8k

点赞数

分类专栏： GAN image matting 文章标签：计算机视觉深度学习 python

本文链接：https://blog.csdn.net/qq_41967539/article/details/105718063

版权

本文提出了一种新的方法，通过原图、背景图、soft segmentation和motion prior信息估计图像matte，减少了对trimap的需求。采用Context Switching Block结合多个输入线索，使用生成器和鉴别器提升前景提取的准确性和真实性。实验表明，这种方法能生成更高质量的图像，特别是在没有trimap的情况下。

摘要由CSDN通过智能技术生成

Background Matting：The World is Your Green Screen
当前的问题及概述：
现有的方法都需要背景和trimap信息进行estimate matte
在本文中，我们需要原图及背景的附加照片，虽然准备阶段复杂，但节省了大量创造trimap的时间以及提升了最终的效果。具体见图1：
在这里插入图片描述
模型及loss：

输入为原图I和背景图B’,通过生成的soft segmentation S 和motion prior M对前景F和matte α进行评估。本文提出的Context Switching Block可以组合4个不同的输入cues，通过生成器G的编码器进行特征提取，并使用一个鉴别器D引导训练生成真实的结果。
2.1 CS block（supervised）
其中输入的I,B’,S,M四个cues中，I和B’为原始输入图像，通过腐蚀-膨胀和高斯模糊操作生成人物的粗分割图像S，以及对视频的多帧拼接并进行灰度操作得到motion cues M，输入为X ≡ {I, B’, S,M}。通过生成器G输出的前景图F和alpha matte α，即