萌颜SDK中的很多功能都是基于人脸技术实现的,可以应用于不同的应用场景中,其中包含了2D、3D动态贴纸,图像美化处理等功能。
一、萌颜SDK中涉及到人脸技术的功能
1.2D动态贴纸
2D动态贴纸的功能主要是基于人脸识别技术和图像渲染技术实现的,人脸追踪可进行106关键点实时追踪,高效的识别出人的五官和轮廓,并结合了贴纸和人脸的贴合算法,将人脸与贴纸较好的相结合。人脸识别技术可用于人脸2D贴纸特效、瘦眼大脸、3D面具等,广泛的应用于直播、短视频、特效相机等应用场景中。
2.3D面具
3D面具主要3D模型,首先3D贴纸通常是覆盖全脸的特效,这便需要用到3D图形渲染技术,通过高效的3D图形算法,提供精致的模型和稳定的渲染, 3D渲染需要一定的三维想象力,进行多重渲染,实现3D效果,3D面具依靠模型加上贴图,便可实现3D面具特效,完美贴合人脸。
3.图像处理
包括实时趣味人脸互换、背景抠图等泛娱乐应用。图像分割是图像处理中的关键部分之一,将图像中有意义的特征部分进行提取,比如图像的边缘区域等,这也是后期实现图像识别的基础。
二、人脸识别SDK
人脸识别SDK主要包含了人脸检测、人脸追踪、人脸姿势估计、人脸表情识别等功能。
1. 人脸检测
可以实时高效检测视频中的多张人脸,精准定位画面中的人脸位置并获取相关信息。
2. 人脸追踪
基于深度学习框架和图形学优化算法综合研发的成果,可以精准、高效的识别人脸相应数量的关键点并进行实时追踪。
3.人脸姿势估计
在人脸检测和关键点识别基础之上通过精密的算法实现,可以精准计算人脸的三维偏转角度(即欧拉角),包括YAW,PITCH,ROW三个方向的角度偏转,从而获取人脸姿势判定。
4. 人脸表情识别
可以实时识别面部表情动作,包括睁眼闭眼、张嘴闭嘴、挑眉、点头摇头;后续升级版本中会添加面部心情识别,包括开心、伤心等高级功能。
现在萌颜SDK主要应用于直播、短视频、特效相机等场景中,我们常见的直播平台和短视频平台中的各种动态贴纸特效、3D面具等,这些都是基于人脸识别和图像渲染的技术实现的效果,从而满足客户功能多样性需求。