论文分析--《基于深度学习的人脸表情识别算法研究_宋新慧》

1.摘要：

文章中提出的算法：

1）针对静态的图像：细节感知迁移网络

      数据集：CK+；Kaggle

2）针对视频序列：利用多任务学习的递归神经网络

      数据集：I-PFE

2.本文工作：

1）基于细节感知迁移网络的人脸表情识别：

传统特征提取方法存在的问题：光照、角度等影响

解决问题的方法：对抗网络（扩充数据集）+细节感知迁移网络（卷积神经网络）

2）基于视频序列的多任务递归神经网络结构：

编码网络+时间递归神经网络+人脸身份识别网络+人脸表情识别网络

3.综述：

1）基于深度学习的人脸检测方法：

R-CNN：

SPP-Net : 解决输入图像大小固定的问题

Fast R-CNN : 解决所有候选区都要输入网络模型的问题

FacenessNet :专门用于人脸检测

2)人脸对齐方法：

基于模型的人脸对齐方法：ASM  AAM

基于线性回归的人脸对齐方法：

基于非线性回归的人脸对齐方法：

3）人脸表情特征提取方法：

Haar特征：

LBP特征：局部二进制模板

4）人脸表情识别方法：

针对图像中的静态人脸表情识别：Bayes分类算法、SVM、AdaBoost、基于CNN分类算法

针对动态视频中的动态人脸表情识别：HMM（隐马尔可夫）模型

基于深度学习的人脸表情识别方法：

4.基于细节感知迁移网络的人脸表情识别方法：

1）人脸表情数据集：

CK+：123个对象的327个被标记的表情图片序列、七种表情

Kaggle：28709张训练样本、3859张验证数据集、3859张测试样本、七种表情

2）基于对抗网络的数据集扩充：

基本思想：生成的数据与样本数据尽量相似

D：输出相似概率，越高越好   G：输出生成数据与样本的差异，越小越好

G网络：

           100维噪声--->卷积--->反卷积（ReLU激活函数）--->64*64图像

            反卷积：2*2--->4*4 特征映射

D网络：

            每层用LeakyReLU激活函数

3）细节感知迁移网络结构：

Batch Normalization（批规范化）：归一化激活操作前的输入值

残差网络：解决网络深度加深而准确度降低的问题

Dropout:一种归一化技术，随机丢掉一些隐藏节点，减少不同节点之间的相互作用

4）网络学习：

计算梯度（用来执行参数更新）的方法：SGD、AdaGrad、Adam

5）基于多网络融合的人脸表情识别：

基于区域融合的人脸表情识别：三个区域，SVM分类

基于提升的人脸表情识别：三个级联的网络结构（两层俊基神经网络，第三个为DPTL网络）

6）实验结果：

基于细节感知迁移网络的实验结果：

基于网络融合和网络提升的实验结果：

5.基于视频序列的多任务递归神经网络人脸表情识别：

1）递归神经网络（RNN）