Highly Efficient Natural Image Matting

Highly Efficient Natural Image Matting

文章可用（可尝试）创新点

• 使用OCBlock代替传统卷积
• ENA结构（非局部注意、长短注意操作）

提出问题：
使用深度学习进行matting存在两个问题：

1. 依靠用户提供的trimap。
2. 模型尺寸过大。

针对上述问题，提出了一个轻量级的trimap-free网络，该网络使用了两阶段的框架：

1. trimap生成阶段：分割网络（SN）被设计来捕获足够的语义，并将像素分为未知区域、前景区域和背景区域；内包含跨层融合模块（CFM），使SN可以有效地利用多尺度特征，且计算量较小。
2. 细化阶段：Matting Refine Network（MRN）旨在捕捉详细的纹理信息并回归精确的alpha值。MRN中的有效非局部注意模块（ENA）可以有效地建模不同像素之间的相关性，并帮助回归高质量的α值。

结论：模型参数344k，速度未提及。

注意点：

• 使用OCBlock
• CFM部分使用通道注意力机制（我们直接将底层特征En1-2与高层特征En1-4融合，将高层语义信息传播到底层。由于不同的特征通道在高层响应不同的语义，不区分对待所有通道是不明智的。为了减少不相关语义信息的干扰，我们在En1-4上使用通道注意力，为对matting任务更重要的通道分配更大的权重。通道注意的操作具有较低的时间复杂度。因此，它需要的计算成本可以忽略不计。）
• Matting Refine Network（MRN）阶段使用ENA

其中，Q K V表示查询、密钥和值特征，Sim表示查询和密钥特征之间的相似性。

查询特征由编码器/解码器特征与未知区域相乘得到。图像通过OCBlocks来获取key和value特征。我们提出的ENA是一个跨级别的非局部注意，但为了简单起见，我们只展示了查询特性XQ上的远程和短程注意操作。如图所示，首先将编码器/解码器特征和未知区域相乘，得到特征图，进行重排列（将2*2格子对应位置重排列到一起，如图所示，在重排列后，同颜色部分使用非局部注意力）此为远程注意操作，将结果再次进行重排列到原来样子，使用非局部注意力，此为短程注意操作。