会议:ICCV-2019
概述:
论文认为trimap是粗略的,而之前的模型将trimap作为输入,试图估计一个好的蒙版,存在一个回归问题;
AdaMatting一个新的端到端的图像修复框架,将任务分解为两个子任务 trimap adaptation 和 alpha estimation
trimap adaptation:
一个像素分类问题
alpha estimation:
一个回归问题,计算每一个混合像素的值
1.介绍
输入图像可以被建模为前景与背景颜色的线性组合:
论文认为以前的论文以trimap作为输入,存在不够精确的问题,且一个分类问题不足以解决图像抠图问题,故而将该任务分解为trimap adaptation和alpha estimation
3方法
trimap adaptation:
蒙版值代表的含义:
根据 的定义,图像抠图自然可以分为两步:1.决定蒙版像素值是1,0或其他;2.精确计算半透明区域的值
网络概述
有一个编码网络,两个解码网络(分别对应trimap adaptation 和 alpha estimation),一个propagation单元组成
网络以图像与对应的trimap 联合作为输入,首先经过编码网络(ResNet-50)生成特征图,然后经过两个解码网络(由3*3的卷积层和上采样模块组成),trimap解码(T-Decoder)输出3通道的分类图,alpha解码(A-Decoder)输出1通道的蒙版值
多任务自动编码
基于U-Net并加入global convolutions来扩大感受野
propagation单元
由两个ResBlocks和一个LSTM cell组成
损失函数
T和 α分别为T-Decoder和A-Decoder的输出,σ1 和 σ2为两个任务的权重参数,LT (交叉熵损失)and Lα(L1正则化损失)分别为trimap解码、alpha解码的损失