Facial Expression Recognition using Visual Saliency and Deep Learning

Mavani V , Raman S , Miyapuram K P . Facial Expression Recognition using Visual Saliency and Deep Learning[J]. 2017.

 

1.

由于Facial Action Coding System (FACS)算法计算量大而且在实际预测之前需要不同的块。

我们提出了一种新方法，该方法使用截取脸部(cropped faces)的图像和检查到的视觉显著性（visual saliency）来实现深度学习算法（AlexNet）以识别面部表情。

具体的做法如下：

                  

                                              

PS：这里使用的AlexNet不是原先使用竞赛ILSVRC2012物体分类数据集训练的到的。而是作者重新使用CFEE数据集训练，得到专用于脸部表情识别的AlexNet。（在CFEE上训练，在RaFD上测试），再用Domain Adaptation techniques算法提高模型的泛化能力。

 

常规的FACS识别算法过程：

                                  

 

主要贡献：

1.将视觉显著性结合深度学习算法进行人脸表情识别，测试准确率达到65.39%，高于平均识别率1/7。

2.计算量比传统的使用FACS算法要小

3.使用两个数据集分别表情识别模型进行测试与训练，提高模型泛化能力。

 

存在问题：

1. 识别率还可以进一步提高。

 

 

实验过程:

实验一：数据集CFEE上做测试和训练，在测试集的准确率达到了74.79％。 这是因为测试集包括与训练集相同的主题但不同的面部表情的图像。 这个结果不能被认为是模型泛化泛化能力强。

实验二：在数据集RaFD上做测试和训练，得到模型的泛化能力并未达到预期。

实验三：采用在CFEE上训练模型，转而在RaFD上做测试。得到在测试集上的准确率为77.19%，

实验四：采用在CFEE上训练模型，转而在RaFD上做测试，但引入了视觉显著性图，实验结果的准确率为65.9%。

 

 

 

【概念解释】

视觉显著图

视觉显著性（visual saliency）：视觉显着性是强度图，其中较高强度显示图像中吸引最大注意力并且注意力降低的区域导致较低强度。

如：