人脸检测技术在CG动画、电影中的应用

       在文章开始之前先介绍几个文中会用到的基本概念。

人脸检测:人脸检测就是在一副图像或一序列图像(比如视频)中判断是否有人脸,若有则返回人脸的大小、位置等信息。如下图


人脸对齐:根据输入的人脸图像(人脸检测出来的图像区域),自动定位出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,如下图所示



人脸识别:人脸识别是基于脸部特征信息(如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等)进行身份识别的,最终确定这个人,


比如下图通过人脸识别可以区分出来哪个是汪涵,哪个是徐峥。



1  国内人脸检测现状


       人脸检测是整个人脸识别系统中的第一步,当然是非常重要的一步,可以实现定位的图像中人脸的区域。人脸检测现在基本上已经进入到了全民体验的时代,


最基本场景就是上传一张图片或者自拍时,图像中的人脸会自动被方框标记出来(下图是奥斯卡影星的集体自拍照,都被检测到)。



人脸检测已经成熟使用在各个商业领域,安防,娱乐,金融,互联网等,基于人脸检测、识别的应用是一个拥有千亿级别的市场,投资人热捧、


大佬们追击,互联网巨头的投入,人脸检测和识别将至少有10-15年的黄金发展期。受人口基数大、互联网普及程度高、人脸检测识别技术优势等因素影响,


中国将成为人脸识别领域的主战场。我国人脸识别市场规模,从2012年的16.7亿元,上升至2015年的75亿元,未来潜在的市场规模巨大。


从盈利模式上看,提供人脸检测识别技术的公司,主要是两种收费方式,一种是收取一次性技术、软件购买费,一种是按技术使用次数收费。


人脸检测识别公司有很多,大致分为这几类:


一类是,专注算法这块,主要提供的是APISDK。有的是自己做成了系统,软件。


二类是,专注系统、软件这块,有针对不同行业的解决方案,不过不一定掌握了核心算法。


三类是,人脸识别模块及硬件这块,比如人脸识别考勤机,人脸识别取款机。


国内在人脸识别领域有生产应用的厂家,确实很多,但是加上有自主知识产权人脸识别算法的公司,可能就那么几家。


国内专注做人脸监测识别算法的公司主要是以下几家:


北京:FACE++,商汤科技,北京可信网络有限公司,脸指,麒麟永盛


四川:凌感科技,四川蓉达,云从科技


广东:颜鉴科技(ColorReco),洪森科技


杭州:杭州微禾


厦门:厦门瑞为


上海:晶软,看看智能,腾讯优图,

 

         但这个领域存在几个不好的现象:

1.    目前国内的人脸检测识别领域初创公司,为了得到高估值,往往会夸大自身的技术实力来误导媒体的对团队的认识,获取市场对其名不副实的赞誉。


所以,想基于人脸识别开发应用的公司在寻找合作伙伴的时候应该对合作公司的技术实力和背景做非常详细专业的调查。


2.    涉及的人脸检测和识别的技术的产品和领域非常之多,需求也是多样化的,而很多成熟型人  脸检测识别技术公司往往只提供某一个细分方向的技术支持,


并且在整个框架很大,收取的技术费用高,这对于一些有志于做人脸检测和识别产品的中小公司来说非常不适用。


人脸检测和识别的主要应用场景


身份的识别:


1.    金融刷脸认证




2.    安防领域的人脸识别




3.    教育考试的考生身份识别




人脸自动补妆,检测


1.    各类美颜app,如美颜相机,美图秀,camera360



2.    换脸app,如msardfaceswap





3.    疲劳驾驶的监测




3.CG技术


1.    影视动漫制作,如玄机科技(秦时明月),DreamWorks disney等。




2.    游戏制作,如魔兽星际星战,孤岛危机,使命召唤6等。 


3.    视频制作,如microsoftfacewarefaceRigadobe公司等







下面重点梳理一下人脸算法和动画,电影方面的应用,这项应用属于是CG技术中人脸表情的跟踪,国内的大众比较熟悉的应该是《速度与激情7》中保罗沃克的复活,


《阿凡达》纳美星人,以及国内近期要上线的电影《爵迹》,这里面都用到了人脸表情的CG技术。




以上的图像中就是CG技术中人脸表情的制作过程,CG技术在电影制作过程中为了达到复活李小龙的表情,


1.需要让替身演员模仿大量李小龙的电影表情,


2.采集表情数据,


3.根据表情数据,用CG技术把表情模型做好,

4.将这些表情按照剧情需要练成动态影像,


5.电影成形。


其中的第2步表情的采集过程数据量大,过程繁琐,需要人为手动在替身演员脸上标记很多特征点,用来控制面部表情同步到3D模型中。


这一过程完全可以用当下已经非常成熟的人脸对齐技术来完成特征点的标记,替代繁琐的人工标记。通过现在人脸对齐算法可以检测到人脸固定区域的特征点,如下图



图中标记的点会跟随人脸的表情变化而变动,这些不断变动的点对应到3D模型上,就可以在3D模型上看到相同的面部表情。


4 团队工作介绍

    我们的专注于上述过程2中的问题,也就是人脸对齐算法方面已经有3年多的时间,一直在特征点检测的准确度和实时效果上做改进,

当前在检测人脸特征点(如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等)已经有非常好的效果,现在基于已有的效果,已经可以在眼镜试戴,

人脸AR应用,人脸自动补妆上可以商用。
















阅读更多
换一批

没有更多推荐了,返回首页