matlab fitcecoc函数,基于多类核典型相关分析的多模态情感特征识别方法与流程

本发明涉及一种多模态情感特征识别方法，特别是涉及一种基于多类核典型相关分析的多模态情感特征识别方法。

背景技术：

人类的情感表达通常不仅仅通过表情或是语音语调等某一种单一的表现形式表现出来，例如在一个人比较高兴的时候，脸部五官表情较为舒展，音调比较高亢，身体四肢会不由自主的做出一些相应的动作，而在比较悲伤的时候脸部表情较为凝重，声音对应的也会较为伤感，四肢动作幅度不会太大等等，每种情绪在面部、声音和姿态方面都会有对应的表现。传统方法使计算机仅仅根据某一模态或是融合表情和语音两个模态的特征进行情绪的识别分类，识别率不够高，如果将单模态延伸到多模态，使计算机经过某些方法使用多种模态的特征融合判断进行情绪的识别分类，对于提高识别率，促进人机交互的发展必然有着积极的作用。同时融合方法的好坏也会很大程度上影响最后识别结果好坏，现在已经存在的融合方法也有很多，例如主成分分析(PCA)，典型相关分析(CCA)，核典型相关分析(KCCA)等。多类核典型相关分析(MKCCA)是核典型相关分析(KCCA)在多类问题上的拓展，通过变量之间的相关性将特征融合起来，适合于多模态情感特征识别的问题。但是MKCCA在具体应用到情感特征识别方面还有很多难点，目前的现有技术中还没有发现其被应用到多模态情感特征识别的方法。

技术实现要素：

发明目的：本发明要解决的技术问题是提供一种基于多类核典型相关分析的多模态情感特征识别方法，通过寻找各模态特征之间强相关性，充分使用人类各种情绪情况下的各个模态的特征，在情感识别中使计算机能够更加精确的识别人类的情绪。

技术方案：本发明所述的基于多类核典型相关分析的多模态情感特征识别方法,包括以下步骤：

(1)在包含多种模态数据的情感数据库中选取一定数量的样本；

(2)从上述样本数据中提取表情特征、语音特征和姿态特征，形成N*d1的表情特征数据矩阵、N*d2的语音特征数据矩阵和N*d3的姿态特征数据矩阵，其中N为样本个数，d1、d2、d3分别为每个样本的表情特征、语音特征和姿态特征的维度；

(3)将上述3个矩阵进行归