SF图像滤镜/美颜/美妆算法详解与实战
文章平均质量分 85
本专栏结合作者多年相关经验,从传统算法到火热的AI算法,给大家详细讲解目前在PC图像软件、手机图像处理类应用app,以及视频直播等应用类型中,图像视频的滤镜特效,人像美颜美妆特效的算法理论,并结合具体样例进行代码实战,让所有读者从中受益!
Trent1985
本人多年来专注图像特效、人像美颜美妆算法研究、AI美颜美妆探索,著有《图像视频滤镜与人像美颜美妆算法详解》一书,欢迎 志同道合的朋友们一起学习交流!
个人座右铭:谨言慎行,三思而后行!
展开
-
深度学习AI美颜系列----人像静态/动态贴纸特效算法实现
人像静态/动态贴纸特效几乎已经是所有图像视频处理类/直播类app的必需品了,这个功能看起来复杂,实际上很简单,本文将给大家做个详细的讲解。我们先来看一下FaceU的两张效果图: 这两张效果图中, 我们可以看到一些可爱的圣诞帽贴纸和小鹿形象贴纸,在人脸区域,自动贴上不同的贴纸,便会生成很多有趣的特效,这也是大家爱不释手的原因。 我们从静态贴纸讲起,动态...原创 2019-01-02 17:00:13 · 10241 阅读 · 13 评论 -
深度学习AI美颜系列---AI美颜磨皮算法二
这里先放两张对比结果图,原图来自网络:算法的流程如下:1,皮肤分割算法;目前主流的语义分割等都可以实现,准确度要求较高。本人使用U-net和PSPNet。2,人脸关键点识别算法;这一步可以使用商汤/Face++/虹软人脸SDK,这里使用的是虹软101点人脸SDK。也可以自己训练人脸SDK,推荐使用mtcnn或者opencv人脸检测+cnn关键点网络;3,基于皮肤...原创 2018-11-28 13:10:41 · 8222 阅读 · 6 评论 -
图像保边滤波算法集锦--非局部均值NLM滤波器
本文介绍非局部均值滤波,这种滤波器效果非常好,但是算法耗时严重,这里以效果为先,来给大家讲解。非局部均值滤波(Non-Local Means,NLM)是Buades等人于2005年在论文“A non-local algorithm for image denoising”中提出的对传统邻域滤波方法的一种改进滤波,考虑到了图像的自相似性质,它充分利用了图像中的冗余信息,在去噪的同时能够最大程度的...原创 2018-09-29 18:02:02 · 8429 阅读 · 3 评论 -
深度学习AI美颜系列
为什么要开始写AI美颜这个系列的内容? 人像美颜美妆滤镜现在来看,几乎成为了人们生活拍照,摄影的刚需,目前市面上绝大多数的算法依旧停留在传统的图像算法阶段,仅有少数的AI算法也尚属于探索研究阶段,比如美图秀秀的AI肤质分析,美妆相机的AI五官分析,陌陌的AI美颜等,本人专业从事人像美颜、美妆及滤镜算法研究的工作,目前随着深度学习的兴起,AI已经在各个领域表现出了惊人的效果,因此,本人将在...原创 2018-05-09 14:49:47 · 6439 阅读 · 1 评论 -
深度学习AI美颜系列---人像审美
美颜是个常见的话题,暗藏了一个基础性的问题,什么是美,也就是人像之审美。中国人审美的标准:1,面部轮廓——“三庭五眼”;2,人脸正中垂直轴上——“四高三低”;3,人脸正中水平轴上——“丰”;4,五官精致符合上述三个条件,即中国人眼中的美貌了。下面我们来具体分析:①三庭五眼世界各国普遍认为“瓜子脸、鹅蛋脸”是最美的脸形,从标准脸形的美学标准来看,面部长度与宽度的比...原创 2018-10-18 14:18:08 · 5179 阅读 · 1 评论 -
深度学习AI美颜系列---性别识别
性别识别作为该系列的第一篇博文,是因为一张人像照片放在我们面前,我们首先需要判断这个人像照片是男是女,然后才能根据男女分开进行相应的美颜!本文使用Tensorflow来实现性别识别。算法性别识别是一个简单的分类,男和女两类,我们使用简单的CNN来实现,CNN的网络结构如下:Fig.1 性别识别CNN网络结构示意图输入图片为大小为92X112的单通道灰度图像,如Fig.2所示,类别标签(男标签[1,...原创 2018-05-09 16:08:59 · 7568 阅读 · 0 评论 -
深度学习AI美颜系列----AI人脸自动美型算法
人脸智能美型技术主要用于智能美颜,对用户的照片进行自动智能调整,而不需要用户手工调整,该技术在美颜相机、天天P图等app中都已应用。本文在这里对人脸智能美型做个详解。人脸智能美型包含如下两个部分:①人脸轮廓自动调整②五官自动修正人脸轮廓自动修正:对人脸大小,胖瘦进行自动调整,目前app中常用的瘦脸只是其中一个特例而已;五官自动修正:包含眼睛大小自动调整,鼻子形状位置...原创 2018-09-13 13:17:05 · 62849 阅读 · 71 评论 -
深度学习AI美颜系列---天天P图疯狂变脸算法
自从天天P图出了疯狂换脸的特效之后,到现在为止已经近两年时间了,这两年时间,天天P图多次凭借换脸特效登上APP Store排行榜首,从小学生证件照到圣诞节梦幻妆再到后来的各种影视游戏特效,以及后来的军装照等等等等,5月4日青年节,天天P图的“前世青年照”又是传遍了朋友圈,火遍了排行榜。在这里本人将这个换脸放到这个模块来讲,是因为这个技术,用深度学习来搞,个人认为潜力更大。2016年的一篇论文Fas...原创 2018-05-13 09:52:19 · 22594 阅读 · 15 评论 -
深度学习AI美颜系列----基于抠图的人像特效算法
美颜算法的重点在于美颜,也就是增加颜值,颜值的广定义,可以延伸到整个人体范围,也就是说,你的颜值不单单和你的脸有关系,还跟你穿什么衣服,什么鞋子相关,基于这个定义(这个定义是本人自己的说法,没有权威性考究),今天我们基于人体抠图来做一些人像特效算法。 抠图技术很早之前就有很多论文研究,但是深度学习的出现,大大的提高了抠图的精度,从CNN到FCN/FCN+/UNet等等,论文层出不穷,...原创 2018-06-05 12:17:43 · 26605 阅读 · 13 评论 -
深度学习AI美颜系列---AI滤镜特效算法
滤镜是图像美化中必不可少的步骤, 所谓滤镜,最初是指安装在相机镜头前过滤自然光的附加镜头,用来实现调色和添加效果。我们做的滤镜算法又叫做软件滤镜,是对大部分镜头滤镜进行的模拟,当然,误差也就再所难免,我们的宗旨只是无限逼近。也是这个原因,我们无法再现真实的拍摄场景,无法复原照片中未包含的信息,进而也难以实现某些特殊滤镜效果,诸如偏光镜和紫外线滤色镜(UV)的效果等等。目前各种图像处理软件无论是PC...原创 2018-05-25 17:53:02 · 15548 阅读 · 10 评论 -
深度学习AI美颜系列---AI美颜磨皮算法一
首先说明一点,为什么本结内容是“AI美颜磨皮算法一”?而不是“AI美颜磨皮算法”?AI美颜磨皮算法目前还没有具体定义,各大公司也都处于摸索阶段,因此,这里只是依据自己的实现方案做了区分,本文算法与下一篇“AI美颜磨皮算法二”在算法角度,有着很大的差异,由此做了区分。先看一下磨皮算法的一般流程:这个流程图是一般传统的磨皮算法流程图,而本文将基于这个流程图,结合深度学习做一些改进。在这个流程图中,主要...原创 2018-06-12 10:02:54 · 20847 阅读 · 25 评论 -
深度学习AI美颜系列---AI瘦身效果算法揭秘
最近一段时间,抖音、微视、美图纷纷推出了视频实时瘦身的特效,可以说是火了一把!本文将给大家做个技术揭秘!商汤基于深度学习研发了整套瘦身SDK,包括了瘦腿,瘦腰,瘦胳膊,瘦头型等等功能,并给出了酷炫的实时瘦身视频,惊艳到了众人!本文将以瘦腰和瘦腿为例,给大家详细讲解一下。瘦身从算法角度来讲,包含两个模块:①人体轮廓特征点检测模块;②人体变形模块[人体轮廓特征点检测模块]人体轮廓特征点检测模块好比人脸...原创 2018-06-12 17:31:26 · 13456 阅读 · 22 评论 -
深度学习AI美颜系列----AI美发算法(美妆相机/天天P图染发特效)
给照片或者视频中的人物头发换颜色,这个技术已经在手机app诸如天天P图,美图秀秀等应用中使用,并获得了不少用户的青睐。如何给照片或者视频中的人物头发换发色?换发色算法流程如下图所示:1,AI头发分割模块基于深度学习的目标分割算法已经比较成熟,比较常用的有FCN,SegNet,UNet,PspNet,DenseNet等等。这里我们使用Unet网络来进行头发分割,具体可以参考如...原创 2018-07-27 12:47:56 · 11983 阅读 · 15 评论 -
深度学习AI美颜系列----AI人像美妆算法初识
人像美妆是近几年来深受广大女孩儿群体喜欢的修图功能之一,目前市面中做的比较好的有美妆相机、玩美彩妆、天天P图等APP,当然还有一些PC专用的秀图软件,本文将给大家做个算法初识;什么是人像美妆?通俗的看个样例图:这个图中,由左边的原图,到右边的化妆效果图,就叫做人像美妆。本人对AI美妆的一些看法如下:1.妆容自然,逼真;2.鲁棒性高,不受五官遮挡影响;3.速度越快越好;4...原创 2018-07-24 16:25:16 · 14900 阅读 · 21 评论 -
深度学习AI美颜系列----AI美甲算法揭秘(WANNA NAILS)
本文将给大家分享WANNA NAILS App中漂亮的美甲效果是如何实现的,对其背后的图像算法技术做一个详解。WANNA NAILS是一款专门做美甲效果的app,效果举例如下:WANNA NAILS可以实现图片和视频的美甲效果,非常逼真,同时结合美甲产品进行商业变现。本文针对美甲的效果来给大家进行图像算法分析与实现;美甲的流程如下:我们按照流程来分析:1.输入手指照...原创 2018-08-23 13:30:10 · 7013 阅读 · 15 评论 -
图像保边滤波算法集锦系列
在美颜算法的实现中,如何既能把人脸皮肤磨得光滑,雀斑磨得干净,又能保留五官的自然清晰,这就需要一种能保留边缘信息的平滑滤波器,这种滤波器的好坏在一定程度上,也就影响了美颜磨皮效果的好坏,对此,本人将在这个集锦中,对于这种保边滤波器做个总结,这也是写这个集锦的目的所在,希望大家通过阅读这些博客,能对各种滤波器有个清晰的认识,进而调出更加优秀的美颜效果! 本集锦中,主要讲述如下内容:...原创 2018-05-30 14:14:46 · 7034 阅读 · 0 评论 -
图像保边滤波器集锦---双边滤波算法与实现
双边滤波算法#include "string.h"#include "stdio.h"#include "stdlib.h"#include "math.h"#include"SoftSkin.h"//垂直方向递归void runVerticalHorizontal(double *data,int width,int height,double spatialDecay,dou...原创 2018-05-24 11:43:08 · 6461 阅读 · 5 评论 -
图像保边滤波器集锦---各向异性扩散滤波(Anisotropic Filter)算法与实现
本篇集锦要介绍的是各向异性扩散滤波,也叫Anisotropic filter,它克服了高斯模糊的缺陷,具有保留图像边缘细节同时减少噪声的作用,因此,也是可以做人像美颜磨皮算法的;首先,我们来了解一下各向异性扩散。各向异性扩散也叫P-M扩散,各向异性扩散(Anisotropic diffusion)的算法可以详见论文:Scale-space and edge detection using anis...原创 2018-06-11 11:21:46 · 20003 阅读 · 6 评论 -
图像保边滤波算法集锦--Smart Blur算法与实现(PS2018 Smart Blur)
新版PS中有个Smart Blur的滤镜,是一个可以保留边缘的滤波器,效果如下所示:这个滤波器的算法实现如下:1,Smart Blur有两个参数:Radius和ThresholdRadius是邻域半径,Threshold是当前像素与周围像素的阈值差,范围为[0,255]2,假设当前像素点为P(x,y),滤波结果为D,以P为中心,Radius为邻域半径,计算邻域范围内符合条...原创 2018-06-15 17:19:27 · 5249 阅读 · 9 评论 -
图像保边滤波算法集锦--MeanShift滤波算法与实现
本文将尝试使用MeanShift滤波来做磨皮算法;MeanShift即均值漂移,最早由Fukunage在1975年提出,论文名字为:The Estimation of the Gradient of a density function.MeanShift一般是指一个迭代的步骤,即先算出当前点的偏移均值,然后以此为新的起始点,继续移动,直到满足一定的结束条件;MeanShift广泛应用于图像聚类、...原创 2018-06-19 17:26:40 · 5155 阅读 · 2 评论 -
图像保边滤波算法集锦--BEEP滤波算法与实现
本文继续讲解另一种可以做磨皮算法的保边滤波器:BEEPS滤波BEEPS滤波即Bi-Exponential Edge-Preserving Smoother,是一种保边滤波器。改算法由Philippe Thevenaz在2012年提出,参考论文:Bi-Exponential Edge-Preserving Smoother;论文算法流程如下:BEEPS的效果图如下所示:从效果图中可以看到,人像皮肤的...原创 2018-06-22 13:49:07 · 4099 阅读 · 1 评论 -
图像保边滤波算法集锦--Guided Filter导向滤波算法与实现
本文讲解导向滤波的算法与实现;导向滤波是何凯明在2010年提出的一种滤波器,论文名称Guided Image filter,算法如下所示:整体而言是基于均值和方差的一种保边滤波器,效果如下图所示:代码实现如下:int GuidedFilter(unsigned char* srcData, int width ,int height, int radius, float delta){ flo...原创 2018-06-22 14:36:48 · 4192 阅读 · 5 评论 -
图像保边滤波算法集锦--局部均值滤波算法与实现
局部均值滤波算法是基于均值改进的一种具有一定保边能力的滤波器,参考论文为Lee filter Digital image enhancement and noise filtering by using local statistics,具体算法如下:本人C实现效果如下:主要代码如下://导向滤波int GuidedFilter(unsigned char* srcData, int width...原创 2018-06-22 15:01:01 · 7666 阅读 · 16 评论 -
图像保边滤波算法集锦--Surface Blur(表面模糊滤波)算法与实现
本文介绍经典的表面模糊Surface Blur算法与实现。表面模糊是PS里一个重要的保边滤波器,它的算法很简单,公式如下所示:主要思想还是计算当前像素X的邻域范围内不同像素的加权求和,边缘地方的像素,加权比较大,平滑的地方加权比较小,以此来保留边缘信息,平滑平坦区域;效果如下图所示:代码实现如下:#define MIN2(a, b) ((a) < (b) ? (a) : (b))#defi...原创 2018-06-22 16:14:53 · 7239 阅读 · 3 评论 -
图像保边滤波算法集锦--EPM滤波算法与实现
EPM滤波即Edge preserved mean filter,算法本身来自于一篇公开专利,专利号为CN102509266:一种图像快速保边滤波方法;该专利设计了一种快速保边滤波器,可以达到双边滤波的效果,而时间复杂度为O(l),实际上该算法也是基于局部均值方差信息,来进行边缘保留的。个人觉得算法介于局部均值滤波和导向滤波之间,有类似之处,大家可以对比这三种算法以做深入了解。算法流程如下:整个算...原创 2018-06-25 15:37:03 · 5138 阅读 · 8 评论 -
图像视频滤镜算法详解系列
序言为什么要写滤镜相关的内容? 这个问题其实不用回答,大家活在互联网高度发达的社会,发照片,发视频就像吃饭穿衣睡觉一样,已经成为了我们生活中的一部分,在发照片,发视频前,有谁没有用过一些特效处理呢?好像寥寥无几了。 也正因为如此,各种PC图像处理软件,各种手机图像视频处理APP,如日中天,而滤镜也成为了他们的必备功能,这里,本人将结合自己多年滤镜美颜美妆算法经验,给大家详细...原创 2018-07-14 11:31:48 · 2583 阅读 · 2 评论 -
图像视频滤镜算法详解---滤镜初识
所谓滤镜,最初是指安装在相机镜头前过滤自然光的附加镜头,用来实现调色和添加效果,也就是硬件滤镜。我们做的滤镜算法又叫做软件滤镜,是对大部分硬件镜头滤镜进行的模拟,当然,误差也就再所难免,我们的宗旨只是无限逼近。也是这个原因,我们无法再现真实的拍摄场景,无法复原照片中未包含的信息,进而也难以实现某些特殊滤镜效果,诸如偏光镜和紫外线滤色镜(UV)的效果等等。目前,从强大的PHOTO...原创 2018-07-17 14:14:14 · 4360 阅读 · 1 评论 -
图像视频滤镜算法---颜色滤镜
承接上一篇滤镜初识,本文将介绍第一种滤镜:颜色滤镜。颜色滤镜颜色滤镜即调色滤镜,也是最常见的滤镜,任何通过调节图像像素值的亮度、对比度、饱和度、色相等等方法,得到的不同于原图像颜色的效果,都统称为颜色滤镜。我们来做一个颜色增强滤镜,以此说明,方便大家更好的理解。如下图所示,我们对一副图在PS中进行饱和度调整(饱和度提高41):那么,我们在这个过程中,算法实际上做了...原创 2018-07-18 17:38:25 · 9216 阅读 · 13 评论 -
图像视频滤镜算法---几何滤镜
本文承接序言所述,介绍另一类滤镜:几何滤镜几何滤镜几何滤镜是指通过某种像素坐标位置的变换,得到对应新的效果的一类滤镜;像素坐标位置的变换过程,实际上就是几何滤镜的算法实现;几何滤镜逻辑几何滤镜的逻辑一般如下所示:①输入原图②定义像素坐标位置计算公式③遍历原图像素,进行位置变换④得到新效果图几何滤镜举例分析这里以球面滤镜(哈哈镜)特效为例来讲解一个几何滤镜...原创 2018-07-19 18:05:37 · 3005 阅读 · 0 评论 -
图像视频滤镜算法解析--YUV2RGB
图像视频滤镜算法--YUV2RGB[YUV概念]YUV是被欧洲电视系统所采用的一种颜色编码方法,是PAL和SECAM模拟彩色电视机制式采用的颜色空间,它可以方便的把亮度信号Y和色度信号UV进行分离,应用广泛。YUV三个分量定义:Y表示明亮度(Luminance或Luma),也就是灰度值;U和V 表示的则是色度(Chrominance或Chroma),描述影像色彩及饱和度;[...原创 2018-07-17 13:15:12 · 3364 阅读 · 1 评论 -
SF图像滤镜/美颜/美妆算法详解与实战
本专栏将结合本热多年相关经验,从传统算法到火热的AI算法,给大家详细讲解目前在PC图像软件、手机图像处理类应用app,以及视频直播等应用类型中,图像视频的滤镜特效,人像美颜美妆特效的算法理论,并结合具体样例进行代码实战,让所有读者从中受益! 通过阅读本专栏内容,你将深入了解目前美图秀秀、天天P图、无他相机等等app中的滤镜、美颜、美妆算法实现,同时对于未来AI美颜的趋势,也将进一...原创 2018-07-27 13:10:28 · 9003 阅读 · 9 评论