计算机在微表情的应用,一种有效的微表情自动识别方法

一种有效的微表情自动识别方法

【专利摘要】本发明公开了一种有效的微表情自动识别方法，包括：微表情帧序列预处理、微表情信息数据学习和微表情识别。微表情帧序列预处理的方法为：检测获取的微表情序列的帧数，提取每帧图像的数据进行灰度化处理，采用线性插值的方法将所有的微表情序列都插值到统一的帧数。微表情信息数据学习方法为：将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降低的顺序进行向量化排序。微表情识别采用最近邻分类器，本发明较MPCA、GTDA、DTSA等方法具有更高的识别率，且本发明对计算机性能要求低，易于实现。

【专利说明】—种有效的微表情自动识别方法

【技术领域】

[0001]本发明属于机器学习和模式识别领域，涉及一种有效的微表情自动识别方法，尤其涉及一种采用线性插值将微表情样本进行归一化和基于张量表达判别分析的微表情自动识别方法。

【背景技术】

[0002]人类的面部表情研究起源于19世纪达尔文[1]，最近，Ekman和Erikat2]进行了面部测绘行为的研究，验证了微表情(micro expression)可提供更全面的隐蔽情感的泄露。微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它表达了人视图压抑与隐藏的真正情感，往往为人所忽略，但在测谎中有重要的应用前景。

[0003]在国外，微表情识别研究已经有了几十年的历史，提出并且定义了微表情，在协助司法机关诊断案情、商业谈判、心理咨询等领域多有建树，开始得到一些应用。在国内，对微表情的研究也逐渐涉足加深，认知心理学博士傅小兰教授主持了 2011—2013年的国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”(批准号:61075042)，成为国内微表情研究的第一人。2010年，傅小兰等人[3]从心理学研究角度总结了微表情识别能力测验和早期的微表情训练工具，分析了微表情识别在医学临床、情绪智力、谎言识别、国家安全和政治心理学等领域的应用研究。2011年，任衍具等人[4]从心理学角度研究的是微表情的启动效应。2012年，傅小兰和颜文靖等人[5]仍从心理学角度研究了微表情泄露真实表情的持续时间问题。2013年，傅小兰等人[6]简略地总结了三种微表情数据库以及三种微表情自动识别方法，并指出心理学和计算机科学领域专家的协同合作，必将有效地促进微表情研究的不断深入及相关研究成果的广泛应用。微表情自动识别研究刚刚起步，王趙菁和颜文靖等人m在处理微表情视频序列时，将多线性主成分分析(MultilinearPrincipal Component Analysis, MPCA)作为 Baseline 算法，王進菁提出了一种判别张量分析(Discriminant Tensor Subspace Analysis, DTSA)算法[8]，并将其产生差异特征进一步使用极端学习机(Extreme Learning Machine,ELM)来分类。DTSA的优点是可保留图像的空间结构信息，不需要调谐因子，但是，该方法对计算机性能的要求较高，且识别率不高。本专利提供了一种基于张量表达的判别分析(Discriminant Analysis with TensorRepresentation, DATER)的快速微表情自动识别方法，不仅降低了对计算机性能的要求，而且大大地提高了识别率，是一种具有高有效性和鲁棒性的微表情识别方法。

[0004][l]Darwin C.The expression of the emotions in man and animals [M].University of Chicago Press，1965

[0005][2]Ekman P，and Erika L R.What the face reveals:basic and appliedstudies of spontaneous expression using the facial action coding system(FACS)[M].0xford University Press,1997.[0006][3]吴奇，申寻兵，傅小兰.微表情研究及其应用[J].心理科学进展，2010，18 (9):1359-1368.[0007][4]吴冉，任衍具.微表情的启动效应研究[J].应用心理学，2011，17(3):241-248.[0008][5]颜文靖，吴奇，傅小兰.微表情的时长:掩藏时泄露的表情有多快[A].第十五届全国心理学学术会议论文摘要集[C].中国心理学会.2012.[0009][6]梁静，颜文靖，吴奇，等.微表情研究的进展与展望[J].中国科学基金，2013，27(2):75-78.[0010][7]Yan W J,Wu Q,Liu Y J,et al.CASME Database:a dataset of spontaneousmicro-expressions collected from neutralized faces[C].10th IEEE Conference onAutomatic Face and Gesture Recognition.Shanghai:IEEE,2013.[0011][8] Wang S J, Chen H L, Yan W J, et al.Face recognition andmicro-expression recognition based on discriminant tensor subspace analysisplus extreme learning machine[J].Neural Processing Letters, 2013:1-19.[0012]目前，大多数研究者将研究重点集中在微表情是否发生，而对于微表情的识别研究甚少。在已有的方法中，MPCA虽然能减少噪声带来的影响，但是识别性能低制约了这种方法的可靠性，DTSA对计算机的性能有很高的要求，且其识别性能依旧不能满足人们的要求。

【发明内容】

[0013]本专利提供了一种基于DATER的快速微表情自动识别方法，该方法建立在已经发生微表情的基础上，使用机器学习的方法判断该微表情的类别。该方法不仅降低了对计算机性能的要求，而且大大的提高了识别性能，是一种真正意义上的实时微表情识别。

[0014]本发明是通过如下技术方案来实现的:

[0015]一种有效的微表情自动识别方法，包括三个阶段:微表情帧序列预处理、微表情信息数据学习和微表情识别；所述微表情帧序列预处理的方法为:首先，检测获取的微表情序列的帧数，然后，提取每帧图像的数据进行灰度化处理；最后，采用线性插值的方法，将所有的微表情序列都插值到统一的帧数；所述微表情信息数据学习方法为:首先，将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降 低的顺序进行向量化排序；所述微表情识别采用最近邻分类器。

[0016]所述线性插值方法是根据线性插值压缩率求线性插值系数，使用该系数模拟插值出中间的帧。

[0017]所述线性插值方法的具体步骤为:

[0018]假设一段微表情序列图像{Si e Rmxn, I = 1，…，P}和欲归一化得到的微表情序列图像{S' J e Rmxn, j = 1，...,Q};其中，P为原始的帧数，m、n分别为图像的行、列维数，Q为归一化后的帧数。定义线性插值压缩率为插值后得到的帧间隔与插值前的图像帧间隔的比值:

[0019]rate = (Q-1) / (P-1) (I)

[0020]规定归一化的第一巾贞S' I和最后一巾贞S' Q分别为:

[0021]S1 1 = S1, S1 Q = Sp (2)

[0022]对于归一化后中间的任意一巾贞j和原始微表情序列图像的某一巾贞i，若满足关系

【权利要求】

1.一种有效的微表情自动识别方法，其特征是，包括三个阶段:微表情帧序列预处理、微表情信息数据学习和微表情识别；所述微表情帧序列预处理的方法为:首先，检测获取的微表情序列的帧数，然后，提取每帧图像的数据进行灰度化处理；最后，采用线性插值的方法，将所有的微表情序列都插值到统一的巾贞数；所述微表情信息数据学习方法为:首先，将预处理阶段获得的微表情序列写成张量的形式，然后在张量空间采用张量表达的判别分析方法最小化同一种微表情的类内距离，最大化不同类微表情的类间距离实现对数据降维，将特征数据按照类判别能力降低的顺序进行向量化排序；所述微表情识别采用最近邻分类器。

2.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述线性插值方法是根据线性插值压缩率求线性插值系数，使用该系数模拟插值出中间的帧。

3.如权利要求2所述的有效的微表情自动识别方法，其特征是，线性插值方法的具体步骤为:假设一段微表情序列图像{Si e Rmxn, i = 1，…，P}和欲归一化得到的微表情序列图像{S' j e Rmxn, j=l，…，Q};其中，P为原始的帧数，m、η分别为图像的行、列维数，Q为归一化后的帧数；定义线性插值压缩率为插值后得到的帧间隔与插值前的图像帧间隔的比值:rate= (Q-1)/(P-1) (I)规定归一化的第一巾贞S' I和最后一巾贞S' Q分别为:Si!=S1, Si Q=SP (2)对于归一化后中间的任意一巾贞j和原始微表情序列图像的某一巾贞i，若满足关系式(1-1) Xrate <= j 并且 i Xrate〉j,贝U插值系数 a、b 为a= (1-1) Xrate-(j-l) /rate (3)b=| (i-2) Xrate-(j-l) /rate (4)插值后的微表情序列的第j帧图像为S' -aXS-+bXSj (5)。

4.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述微表情信息数据学习使用张量形式的判别分析进行特征提取，将高维张量数据投影到低维张量子空间中，提取的特征使得不同类微表情特征的类间距离最大，同类微表情特征类内距离最小。

5.如权利要求4所述的有效的微表情自动识别方法，其特征是，所述微表情信息数据学习的具体步骤为:M个微表情序列构成的训练样本集表示为_?,J? = 1，...U丨其中，第m个训练样本;*，1?为张量的“η-模式”的维数，n=l，…，N ;定义投影后的张量为Ji E R桃…、Pn〈In，n=l,2,…，N;张量表达的判别分析就是寻找一组投影矩阵{U(n)，n=l,…，N}，使样本从高维空间R7* ?R/2映射到低维空间Rfl ?…中；

6.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述向量化排序是指将投影后的低维张量转化成一维向量，按照类判别能力降低的顺序进行排序。

7.如权利要求6所述的有效的微表情自动识别方法，其特征是，所述向量化排序的具体步骤为:令为Λ；投影后的张量特征为投影后I听在类别的类内均值，J?,为投影后第i类的均值，歹为样本集的整体均值，将类判别能力定义为

8.如权利要求1所述的有效的微表情自动识别方法，其特征是，所述识别过程采用基于欧氏距离的最近邻分类器将测试样本进行判别分类。

9.如权利要求8所述的有效的微表情自动识别方法，其特征是，所述识别过程的具体步骤为:令待测试样本为;T，投影后张量和训练样本投影后形成新的训练集合的欧氏距离Dis，采用最近邻分类器测试识别，若

【文档编号】G06K9/66GK103440509SQ201310384143

【公开日】2013年12月11日 申请日期:2013年8月28日 优先权日:2013年8月28日

【发明者】贲晛烨, 张鹏, 杨明强, 付希凯, 李娟 , 刘天娇 申请人:山东大学