深度学习AI美颜系列----AI人像美妆算法初识

转于：https://cloud.tencent.com/developer/article/1165882

人像美妆是近几年来深受广大女孩儿群体喜欢的修图功能之一，目前市面中做的比较好的有美妆相机、玩美彩妆、天天P图等APP，当然还有一些PC专用的秀图软件，本文将给大家做个算法初识；

什么是人像美妆？通俗的看个样例图

图，到右边的化妆效果图，就叫做人像美妆。

本人对AI美妆的一些看法如下：

1.妆容自然，逼真；

2.鲁棒性高，不受五官遮挡影响；

3.速度越快越好；

4.完全智能化，可以针对不同人像照片智能匹配最优妆容；

目前传统美妆的优缺点：

优点：

1.妆容种类丰富，可自由搭配，用户自主选择；

美妆相机和玩美彩妆两款App均提供了数十种不同的妆容效果，供用户自由选择；

2.上妆速度快，可以实时处理；

玩美彩妆、美妆相机、天天P图、无他相机、FaceU等APP均已支持实时上妆效果；

缺点：

1.妆容鲁棒性不高，被光线，五官遮挡影响较大；

2.逼真度不高；

3.无法完全智能化；

目前市面基于传统算法的美妆类APP均无法达到上述3点；

传统人像美妆算法流程：

1.妆容模版制作(Photoshop等编辑软件制作，由设计完成)

2.人脸检测，特征点识别；

这一步骤主要通过人脸检测+人脸对齐来获得N个特征点，目前开源的有Dlib，OpenCV等，商用版有商汤科技、旷世科技、虹软科技等，以及腾讯、美图等；

这里给出一个开源的人脸检测+对齐(68点位)的资源链接：

https://github.com/XiuSdk/cnn-facial-landmark

3.基于人脸特征点，将模版变形，对齐到人脸五官区域；

变形算法有很多，仿射变换，IDW变换，MLS变换，RMLS变换等；

相关代码连接：

IDW

RMLS

MLS(MLS代码在博客内容中)

如果大家懒得看博客，这里给出MLS变形代码，源代码比较长

点击这里参观：

https://blog.csdn.net/trent1985/article/details/79566052

4.将模版与人脸五官图像进行融合；

融合算法主要有alpha融合，Photoshop图层混合，泊松融合等；

alpha融合： S * alpha + D*(1-alpha)

图层混合公式如下：

泊松融合：算法详解

上述过程即传统算法流程，其中对美妆效果起决定性的是人脸特征点识别，如果没有准确的特征点，再好的妆容模版，上妆效果也出不来；

比如下面的例子：

图1中，由于眼睛特征点位置不准确，睫毛妆容已经偏离了眼睛区域；

图2中，由于拍照光线较暗，腮红明显，逼真度过低；

图3中，由于人眼和眉毛被部分遮挡，因此，传统算法的睫毛和眉毛效果悬浮在了头发之上；

目前传统算法相关的论文资料如下：

• Rule-Based Facial Makeup Recommendation System.
• Example-Based Cosmetic Transfer.
• Region-based Face Makeup using example face images.
• Simulating Makeup through Physics-based Manipulation of Intrinsic Image Layers.
• A Visual Representation for editing face images.
• Digital Face Makeup By Example.

在传统算法中，有一种妆容迁移算法，该算法可以直接将一张妆容效果图中的妆容特征，迁移到任意一张人像照片中去，实际上也是与人脸特征点密不可分，具体连接可参考：https://blog.csdn.net/trent1985/article/details/70226779

目前AI美妆相关的论文资料如下：

• Makeup Like a Superstar Deep Localized Makeup Transfer Network.
• Examples-Rules Guided Deep Neural Network for Makeup Recommendation.

上述两篇基于深度学习的美妆算法论文主要思想有两个：

1，对于第一篇论文主要是对人像进行五官分析，获取肤色，眉毛颜色，唇色等等信息，然后进行不同妆容的最佳匹配，最后上妆；

框架如下：

2，对五官进行分别提取分类成不同的style，依据样例数据的特征style，进行最优匹配并上妆；

框架如下：

上述两篇算法论文，依旧是建立在人脸特征点的基础上研究的。

本人针对传统美妆算法，结合深度学习，做了如下改进：

1.只需要人脸检测框，不依赖于人脸特征点；

2.不受五官遮挡和光线影响；

3.妆容效果逼真度提高；

本人算法框架：

1.人脸检测，得到正方形人脸框，包含五官区域；

2.基于全卷积网络，以人脸框图像作为输入，上妆之后的人脸五官效果图作为输出，进行学习训练；

妆容模版使用如下模版：

在Fig.4模板妆容中，分别进行了眉毛处理，眼影、睫毛和唇彩的上妆，整体肤色以及其他内容均无调整；

训练中迭代10次，训练集和验证集准确率均达到了94%-95%，本人训练样本选取了500张，数据比较少，这里仅仅探讨可行性与方法分析；

3.使用2中的训练模型，对测试图进行上妆；

效果图如下：

上述效果图中我们可以看到，基于深度学习的美妆效果，避免了五官遮挡的影响，同时上妆效果更加自然，对环境光的鲁棒性也较高，本文这里未给出具体的网络模型与参数，不过思路大家已经可以借鉴！目前算法处于研究测试阶段，后续本人将公布完整的DEMO！