Real-Time High-Resolution Background Matting

基础网络由Backbone、ASPP（空间金字塔池化）和Decoder三个部分组成

主干网络采用 ResNet50
类似于 DeepLabV3，在 backbone 网络后接 ASPP(Atrous Spatial Pyramid Pooling) 模块
解码网络的每一步采用双线性上采样，并连接来自主干网络的跳跃连接
解码器网络输出粗粒度的alpha matte 、前景残差、误差预测图和一个32通道的隐藏特征。
隐藏特征包含了对细化网络有用的全局上下文。
基础网络Backbone、ASPP（空间金字塔池化）和Decoder三个部分组成
主干网络采用 ResNet50
类似于 DeepLabV3，在 backbone 网络后接 ASPP(Atrous Spatial Pyramid Pooling) 模块
解码网络的每一步采用双线性上采样，并连接来自主干网络的跳跃连接
解码器网络输出粗粒度的alpha matte 、前景残差、误差预测图和一个32通道的隐藏特征。
隐藏特征包含了对细化网络有用的全局上下文。
7.细化网络
Refinement 网络的目标是，降低冗余计算量，并重建高分辨率抠图细节.
基础网络的输出结果是原始尺寸的1/c,C会根据输入尺寸的变化而变化，比如4K分辨率时的取值就是8，得到基础网络输出的粗略优化结构之后，文章对预测错误图Ec进行采样，使其变为原始输入尺寸的1/4，所以对于预测错误图Ec而言，就变成了E4，它的每个像素对应于原始图像分辨率的一个 4x4 图像块，从E4中选取预测误差最大的k个像素（k 是提前设定的，或着是根据抠图质量和计算量平衡的阈值计算来设定的），所以对于原始分辨率的细化像素总数是44K。
Refinement 网络是 two-stage 的，分别处理原始分辨率的二分之一和全分辨率.
（1）将粗粒度的alpha matte α、前景残差F^R_c、误差预测图E_c和隐藏特征H_c采样到原始输入尺寸的1/2，并且将他们合并起来，然后在E4选中的位置上裁剪出88大小的块，送入两个带有有效填充的卷积之后变成44，然后将这些中间特征再次上采样到8×8，并把它们和从原始分辨率的输入I和背景B的相应位置中提取的8×8块进行连通。然后，再送入两个带有有效填充的卷积，就获得4×4的alpha matte和前景残差结果
（2）第二步，将粗略的 alpha matte α_c、前景残差 F^R~c上采样到原始分辨率，并交换被细化后的 4x4 图像块，以得到最终的 alpha matte α 和 前景残差 F^R。
8.损失函数
关于 GT α*和α，采用 L1 损失 计算整个 alpha matte 和对应的 Sobel 梯度损失函数：

根据预测的前景残差以及F = max ( min( F^R + I , 1 ) , 0 )，得到前景层;
仅对于 GT α* >0的像素区域计算L1 损失：

其中 α*>0是布尔表达式
对于细化区域选择，将ground truth误差图定义为E^*=|α- α*|。然后，计算预测误差图和ground truth误差图之间的均方误差：

这种损失会促使预测的误差图具有更大的值，其中预测的alpha与ground truth 之间的差异较大。当预测的alpha值提高时，ground truth误差图会在训练过程中随着迭代次数的变化而变化。随着时间的流逝，误差图会收敛并预测复杂区域（例如，局部区域）中的高误差。头发，如果简单地进行过采样，将导致合成效果不佳。
对于基础网络的损失函数如下:

对于细化网络的损失函数如下：

9.训练次序
（1）首先，仅训练 base 网络 ;
（2）在数据集 VideoMatte240K 上，联合训练整个模型;
（3）然后，在数据集 PhotoMatte 13K 联合训练模型，以提升高分辨率细节.
（4）最后，在公开数据集(646 张训练数据)上联合训练模型.）
10.结果
这是抠图的视觉效果，这是文章编写的zoom插件和之前的zoom抠图效果的对比

抠图的速度对比


模型参数及大小对比：