Deep Automatic Natural Image Matting

https://github.com/JizhiziLi/AIM

工程地址

随着深度学习技术的进展，很多传统技术无法实现的，深度学习基本都能实现了，而且效果还不错。

抠图的传统方法通常是基于 trimap（三值图）对前景、背景和 alpha 进行估计，但当图像中的前景和背景颜色相似或有着比较复杂的纹理时，传统算法很难取得比较好的效果。

自动图像抠图(Automatic image matting, AIM)是指在不需要任何像trimap等辅助输入的情况下，从任意自然图像中估计出软前景，对图像编辑非常有用。

先前的方法试图学习语义特征来帮助消光过程，但仅限于具有显着不透明前景的图像，如人类和动物。在本文中，我们研究了将它们扩展到具有显著透明/精细前景或非显著前景的自然图像时的困难。为了解决这个问题，提出了一种新的端到端抠图网络，该网络可以预测上述类型的任何图像的广义三映射作为统一的语义表示。同时，学习到的语义特征通过注意机制引导抠图网络聚焦到过渡区域。

首先，提出了根据前景alpha蒙版的特点将自然图像分为三类。

1）SO(Salient Opaque显著不透明):具有显著前景但内部不透明的图像，例如人类，动物;

2) STM(Salient Transparent/Meticulous显著透明/细致):具有显著前景的图像，内部透明或细致，例如玻璃，塑料袋;

3) NS (Non-Salient没有显著):前景不显著的图像，如烟雾、网格、雨滴。

测试了之前的matting模型，发现现有的模型要么是学习隐式的语义表征，或者直接使用显示的语义表征，因此往往只在一种类别上表现较好。换而言之，这些方法无法很好的去结合全局的语义信息与局部的抠图细节。

实验表明对于基础的抠图模型对于具有显著前景的抠图效果较好，而对于具有显著透明前景和前景不显著的图像抠图效果不行

 我很懒，事比较多，就写到这吧，有空慢慢添。。。。