主要是重点研究了四篇人脸表情识别的paper。分别是一篇中文中文文献:2006年清华大学朱健翔发表在《光电子·激光》上面的文章《结合Gabor特征与Adaboost的人脸表情识别》。三两篇外文文献:2014CVPR上面的文章《Facial Expression Recognitionvia a Boosted Deep Belief Network》和06年CVPR上的文章《3D Facial ExpressionRecognition Based on Primitive Surface Feature Distribution》以及2006年ICPR上面的文章《Facial Expression Recognition Based on Fusion of Multiple GaborFeatures》。另外,在收集一些人脸表情样本图片。
第一篇文章主要方法:首先对图像进行预处理,主要包括人脸特征的定位和区域归一化以及灰度归一化。然后采用5个尺度和8个方向的的Gabor滤波器组得到每个图像的1920维特征向量。第三步是主要部分因为人脸表情主要体现在眼部和嘴部等位置,不同位置的特征的提取的重要度也不一样,主要采用Ababoost算法对特征进行提取,得到768个特征,提取的特征集中分布在眼部和嘴部,这些部位的特征能体现表情之间的差别带有最多的分类信息。最后通过SVM结合最邻近分类方法来构建分类器。识别效果比较好,对基本的表情识别准确率在97%以上。
第二篇文章的主要方法:主要是训练深信度神经网络(BDBN)(这里没怎么看明白,还需要看些深信度神经网络的知识),主要是通过级联型深信度神经网络对样本进行训练,然后跟据强分类器预测误差通过BDBN构建分类器和迭代学习功能以及特征选择算法提取图像模块特征,然后具体对几个重要的人脸表情识别库,JAFFE,CK+ 等进行试验,
第三篇文章主要是对三维的人脸的六种表情进行识别研究,主要是根据人脸固有的几何特征和几种特别表情的特殊特征在3-D欧式空间进行分析。人脸表情特征分析主要是将人脸用三角形网孔进行描述,然后设计算法提取面部三角网孔的方向和曲率特征,得到图像的最大方向特征和最小方向特征图,然后将人脸面部分为7个区域,最后根据7个区域组成的特征向量对人脸表情进行识别,作者在该文章中实验给定的区域为7个。
第四篇文章主要采用基于多种Gabor特征融合的方式对人连表情进行识别,设计5个尺度8个方向的Gabor滤波器,然后设计42个节点的图像模型对人脸表情进行分析,组成一个42长度的向量,根据13个通道的Gabor滤波器与7种基本表情的贡献率表格进行融合训练,最后分别用最大融合和求和融合以及神经网络融合的方式对日本JAFFE数据库进行实验,识别率为神经网络融合方式效果最好,但是中性表情识别准确率偏低。