makeupgo:一键卸妆算法

Chen, Ying Cong, X. Shen, and J. Jia. "Makeup-Go: Blind Reversion of Portrait Edit." IEEE International Conference on Computer Vision IEEE Computer Society, 2017:4511-4519.
该论文为2017年ICCV论文，下面为作者自己分享的论文ppt
论文原文地址：http://open.youtu.qq.com/research/publications

*******************************************************************************************************

Makeup-Go: Blind Reversion of Portrait Edit，即一键卸妆，给你一张处理过的图片（比如经过美图秀秀把人变白、变美之后的图片），把软件处理之前的样子恢复出来。一般情况下，现在有很多图片处理 APP，我们想知道在美颜处理之前是照片是什么样。

下面是未经过美化的图片。

美化之后脸上的痘痘消失了，皮肤变得非常光滑。

想要把图片恢复成处理之前的状态，难点在哪里？

简单暴力的方法是既然有输入图片和输出图片，能不能训练出一个神经网络自动学会处理图片。在这里我们做了一个简单实验，是2016年 CVPR 的一篇文章，一个非常深的网络。

下面是输入和输出。从这里可以发现，即使用了一个那么深、学习能力那么强的网络，还是和最初的图像有很大差别，比如说皱纹和雀斑，都恢复得不是那么完美。

为什么现在的 CNN 网络不能恢复原来的图片？图像里包含很多东西，如果只是简单用 CNN 去回归，只能回归出非常少的 component，我们在图像恢复时发现了一个非常重要的信息，叫 component domination effect，这篇文章重点针对 component domination effect 来改变一键卸妆效果。

首先我们对 L2 loss 进行分析，可以对其进行分解，F 是神经网络的输出结果，y 是 ground truth。

我们在这里发现，实际上可以对 L2 loss 进行分解，分解成 PCA 不同 component 的线性组合。

我们在这里发现，实际上可以对 L2 loss 进行分解，分解成 PCA 不同 component 的线性组合。

可以继续对其进行展开。

怎么理解 component，我们从大到小分解出来

这里是我们所做的网络，称为 component regression network。相当于把图经过 PCA 分解为不同的成分，接下来我们希望通过不同的 subnetwork 把每一个 component 都能回归得很好，最后把各个 component 综合在一起，得到最终的结果。

接下来是我们的实验结果，可以证明这个网络对于一键卸妆是非常有效的。绿色线条是我们的结果，在 component 为 40 时就能达到比较好的效果。大家可以看到与 Euclidean loss 和 Perception loss 的比较。

下面的这张图经过美图秀秀处理，把雀斑、皱纹都去除了，可以看到我们复原的结果与 ground truth 修饰的结果的比较。

下面是一张 overly touched 图片，图像过度平滑，颜色都改变了，我们恢复的结果能把丢失的细节很好地复原出来。

下面是更多的结果，我们在网上随便找的照片，可以很好地把图中雀斑和皱纹恢复出来。

这个网络并不对所有案例都有效，下面是对 Trump 的图片的处理，虽然能把图片恢复出来，但和 ground truth 比还是有差别。

这个工作的总结如下：一、我们在做图像修复时发现了非常重要的性质 component domination effect；二，提出 component regression network，在很多领域有非常强的应用。