BACKGROUND MATTING
当前的问题及概述:
目前的alpha matting方法主要依赖于trimap来指导estimate alpha。
而本文研究了除了trimap信息外的背景信息和alpha信息进行estimate alpha。
模型及loss:
2.1 Generator G
本文提出的AlphaGan-BG Network是建立在第一个提出的GAN来估计alpha matte的AlphaGAN: Generative adversarial networks for natural image matting一文基础上。
在生成器部分,主体是编码解码器。由7通道输入,(3通道RGB图像,3通道背景信息,1通道trimap),编码器基于在ImageNet上预训练的ResNet50架构,其中ResNet的第3块和第4块的卷积分别被r=2和4的扩张卷积取代。同时为了在多个尺度上重新采样特征,在ResNet块4后添加了Atrous Spatial Pyramid Pooling (ASPP)模块。解码器同AlphaGAN,只有一组卷积层,并与编码器跳连接,最后通过sigmoid作为激活函数输出。
2.2Discriminator D:
本文的判别器采用Image-to-Image Translation with Conditional Adversarial Networks提出的PatchGAN中的判别器结构。D输入是7通道。真实的输入是由使用真值alphaÿ
2020 TIP之image matting:BACKGROUND MATTING
最新推荐文章于 2022-05-05 19:21:00 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)