Disentangled Image Matting阅读笔记

会议：ICCV-2019

概述：

论文认为trimap是粗略的，而之前的模型将trimap作为输入，试图估计一个好的蒙版，存在一个回归问题；

AdaMatting一个新的端到端的图像修复框架，将任务分解为两个子任务 trimap adaptation 和 alpha estimation

trimap adaptation：

一个像素分类问题

alpha estimation：

一个回归问题，计算每一个混合像素的值

1.介绍

输入图像可以被建模为前景与背景颜色的线性组合：

 论文认为以前的论文以trimap作为输入，存在不够精确的问题，且一个分类问题不足以解决图像抠图问题，故而将该任务分解为trimap adaptation和alpha estimation

3方法

trimap adaptation：

蒙版值代表的含义：

根据 的定义，图像抠图自然可以分为两步：1.决定蒙版像素值是1,0或其他；2.精确计算半透明区域的值

网络概述

有一个编码网络，两个解码网络（分别对应trimap adaptation 和 alpha estimation），一个propagation单元组成

网络以图像与对应的trimap 联合作为输入，首先经过编码网络（ResNet-50）生成特征图，然后经过两个解码网络（由3*3的卷积层和上采样模块组成），trimap解码（T-Decoder）输出3通道的分类图，alpha解码（A-Decoder）输出1通道的蒙版值

多任务自动编码

基于U-Net并加入global convolutions来扩大感受野

propagation单元

由两个ResBlocks和一个LSTM cell组成

损失函数

T和 α分别为T-Decoder和A-Decoder的输出，σ1 和 σ2为两个任务的权重参数，LT （交叉熵损失）and Lα（L1正则化损失）分别为trimap解码、alpha解码的损失