python 动画随人脸动作变化_基于运动单元分层的人脸表情识别方法及系统的制作方法...

基于运动单元分层的人脸表情识别方法及系统的制作方法

【技术领域】

[0001] 本发明涉及计算机视觉技术领域，具体涉及一种人脸表情识别方法及系统。

【背景技术】

[0002] 人脸表情识别是通过视觉信号分析人脸运动及面部特征的变化对表情进行分类。 表情分类的研宄基本是依据1971年心理学家Ekman与Friesen最早提出的人类六种主要 情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情 感，由生气(anger)、开心(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust) 和恐惧(fear)组成。近年来随着一系列相关领域的飞速发展，如机器学习、图像处理、人脸 检测等，人脸表情识别越来越受到重视，其应用前景十分广泛，如自然人机交互，智能机器 人，情绪检测及心理状态分析、虚拟现实技术、合成脸部动画等等。

[0003] 人脸表情识别的研宄主要步骤为：人脸检测，表情特征提取以及表情分类。第一步 需要从背景图像中对人脸进行准确定位，这一环节现在已作为一个独立的研宄方向；第二 步从人脸图像或图像序列提取能够代表表情本质的信息，如纹理表观、运动变化或几何形 状特征等；第三步设计表情分类器，结合提取的特征识别表情。目前主要有以下分类方法： 贝叶斯网络、K近邻域、神经网络、随机森林、支持向量机、隐马尔可夫模型等。

[0004] 近年来的表情识别方面的研宄取得了很大的进展，获得不错的识别效果。但现有 方法一般针对高分辨率的图像，需要定位精确特征点，容易受到噪声影响，准确率低。

【发明内容】

[0005] 本发明提供一种人脸表情识别方法及系统，其目的在于，针对低分辨率图像，通过 基于AU分层结构提取对表情具有代表性区域的特征逐层分类，提高了表情识别精确度与 速度。

[0006] -种人脸表情识别方法，该方法包括三层分类步骤，具体为：

[0007] (1)第一层分类步骤：

[0008] 在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类 区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9 运动单元表明皱鼻；若出现，则第一层分类结果为class-1 {厌恶}，结束；若未出现，则第一 层分类结果为class-2 {生气、开心、恐惧、惊奇、悲伤}，进入步骤(2);

[0009] (2)第二层分类步骤：

[0010] 在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内 提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所 述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第二层分 类结果为class-21 {生气、悲伤}，进入步骤(31);若出现至少一种，则第二层分类结果为 class-22 {恐惧、开心、惊奇}，进入步骤(32);

[0011] ⑶第三层分类步骤：

[0012] (31)在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区 域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211 {生气}和 class-212 {悲伤}中的一类；

[0013] (32)在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分 类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221 {恐惧}、 class-222 {开心}和class-223 {惊奇}中的一类。

[0014] 一种人脸表情识别系统，该系统包括：

[0015] 第一模块，用于在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区 域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器 判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1 {厌恶}，结 束；若未出现，则第一层分类结果为class-2 {生气、开心、恐惧、惊奇、悲伤}，进入第二模 块；

[0016] 第二模块，用于在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二 层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判 定标准，所述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第 二层分类结果为class-21 {生气、悲伤}，进入第三一子模块；若出现至少一种，则第二层分 类结果为class-22 {恐惧、开心、惊奇}，进入第三二子模块；

[0017] 第三模块，包括：

[0018] 第三一子模块，用于在待识别人脸图像中提取上半脸区域作为第三层分类区 域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为 class-211 {生气}和class-212 {悲伤}中的一类；

[0019] 第三二子模块，用于在待识别人脸图像中提取下半脸区域作为第三层分类 区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为 class-221 {恐惧}、class-222 {开心}和class-223 {惊奇}中的一类。

[0020] 本发明通过上述步骤将人脸表情识别进行了层次化分类，相较于现有的技术，具 有如下优点：

[0021] 相较于其他通过整个人脸对表情特征识别的方法，本发明基于AU分层结构，提取 对表情具有代表性区域的特征结合随机森林逐层分类，有效提高表情识别精确度与速度， 尤其适用于低分辨率图像。本发明不需要依赖精确的特征点信息，通过提取图像的例如灰 度、LBP和Gabor等纹理特征即可达到较好识别率，有效的降低对图像质量的要求和对图像 预处理的难度，提高该方法的实用性和通用性。

【附图说明】

[0022] 图1为本发明基于AU分层的人脸表情识别方法流程图；

[0023] 图2为本发明实例详细流程图；

[0024] 图3为本发明实例归一化示意图；

[0025]图4为本发明实例用于分层分类的局部区域示意图。

【具体实施方式】

[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。

[0027] 为描绘不同的脸部肌肉动作和不同表情的对应关系，心理学家PaulEkman和 W.V.Friesen提出了FACS(FacialActionCodingSystem)面部表情编码系统。根据人类解 刨学特点，将该系统划分成若干既相互独立又相互联系的运动单元即AU(ActionUnits)， 例如AUl(InnerBrowRaiser内端眉毛上扬)，AU2(0uterBrowRaiser外端眉毛上扬)等 等。

[0028] 本发明针对低分辨率图像，提出AU分层思想从而对六类基本表情进行识别。本发 明分层具体如下：

[0029] 首先，分层结构的第一层基于AU9(NoseWrinkler)鼻子上部邻近区域，皱鼻，将六 类表情粗分为两类，class-1 :Disgust ;class_2 :生气、开心、恐惧、惊奇和悲伤；

[0030] 然后，分层结构的第二层基于AU25(LipsPart)双唇分离，和AU12(LipCorner Puller)唇角上拉，将class-2细化为，class-21 :生气、悲伤；class-22 :恐惧、开心和惊 喜；

[0031] 最后，分层结构的第三层中，基于上半脸区域(见图4,人脸区域从上往下三分之 一部分)，将class-21分为class-211 :生气；class-212 :悲伤；基于下半脸区域(见图4， 人脸区域从下往上三分之二部分)，将class-22分为：class-221:恐惧；class-222:开心； class-223 :惊奇。

[0032] 基于上述分层，本发明图1给出了逐层分类的具体实施步骤，具体为：

[0033](1)第一层分类步骤：

[0034] 在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类 区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9 运动单