基于图像的表情识别

参考文档：
人脸识别之表情识别（七）–面部表情识别阶段综述

一、FER介绍

Facial Expression Recognition 面部表情识别，以下简称FER
完整的FER包含静态图像FER和动态序列FER。静态图像FER，就是我们通常意义上的图片表情识别了，动态序列FER是基于视频序列建模，如RNN方式等。

基于静态图像的FER方法

主要还是基于静态图像的FER。主流的方式，从传统的手工特征（LBP,LBP-TOP等），浅层学习（SVM，Adaboost等），深度学习（CNN，DBN，RNN）

二、 基于深度学习的面部表情识别

基于深度学习的面部表情识别，主要分以下3个过程。

1.预处理

所谓的预处理，是将计算特征之前，排除掉跟脸无关的一切干扰，因此，就有了人脸检测，人脸对齐，归一化等过程，主要有：人脸检测，人脸对齐，数据增强，人脸归一化。

• 人脸检测后面详细写。

• 人脸对齐，主流的有IntraFace,采用SDM算法，提供49个点。其他的如Mot，DRMF，Dlib，MTCNN,DenseReg,TinyFaces.作者这里的人脸对齐，主要是指根据人脸，检测出人脸定位点landmark.

• 数据增强，包含在线和离线两种。

   主流的离线数据增强，包含随机扰动，变换（旋转，平移，翻转，缩放，对齐），噪声添加如椒盐噪声，斑点噪声，以及亮度，饱和度变化，以及在眼睛之间添加2维高斯随机分布的噪声。同时，还有其他的如GAN生成脸，3DCNN辅助AUs生成表情。但是，GAN生成的脸，是否对网路模型有性能提升，还没有证实。
   在线数据增强，包含Crop,水平翻转等，主要的意思是指，在预测时，可以一次性对测试数据进行Crop，翻转等操作生成多张类似的测试图，然后每张测试出图预测出的输出做均值，这主要是基于随机扰动训练的模型，需要在测试时计算均值的原因而定的。
  

• 人脸归一化，主要是指亮度归一化和姿态归一化（就是人脸对齐拉正）。

   亮度归一化，不仅包含亮度调整，也包含了对比度调整，常见的对比度调整方式 有直方图归一化，DCT归一化，DoG归一化，相关论文证明直方图归一化效果最稳定，适应各种网络模型，也有论文证明࿰