2020 TIP之image matting:BACKGROUND MATTING

本文提出了一种名为AlphaGan-BG的网络,它扩展了AlphaGAN,利用背景信息和trimap估计alpha matte。通过ResNet50为基础的编码器和解码器结构,结合ASPP模块,生成器可以更好地区分前景和背景。判别器采用了PatchGAN结构,用于区分真实和生成的alpha matte。实验表明,这种方法在图像matting任务中取得了优于传统方法的效果,尤其是在处理背景信息时。
摘要由CSDN通过智能技术生成

BACKGROUND MATTING
当前的问题及概述
目前的alpha matting方法主要依赖于trimap来指导estimate alpha。
而本文研究了除了trimap信息外的背景信息和alpha信息进行estimate alpha。
模型及loss
2.1 Generator G
本文提出的AlphaGan-BG Network是建立在第一个提出的GAN来估计alpha matte的AlphaGAN: Generative adversarial networks for natural image matting一文基础上。
在生成器部分,主体是编码解码器。由7通道输入,(3通道RGB图像,3通道背景信息,1通道trimap),编码器基于在ImageNet上预训练的ResNet50架构,其中ResNet的第3块和第4块的卷积分别被r=2和4的扩张卷积取代。同时为了在多个尺度上重新采样特征,在ResNet块4后添加了Atrous Spatial Pyramid Pooling (ASPP)模块。解码器同AlphaGAN,只有一组卷积层,并与编码器跳连接,最后通过sigmoid作为激活函数输出。
在这里插入图片描述
2.2Discriminator D:
本文的判别器采用Image-to-Image Translation with Conditional Adversarial Networks提出的PatchGAN中的判别器结构。D输入是7通道。真实的输入是由使用真值alphaÿ

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值