Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition阅读笔记

文章主要的贡献：提出了一个Enriched Long-term Recurrent Convolutional Network (ELRCN)来进行表情识别。
和其他大多数文章一样，作者先从数据上下功夫，从数据里提炼出相关物理量，第一个便是光流（好像也只有光流）。得到一个关于光流的3维的矩阵，关于光流这里就不介绍了，网上有好多文章，写的都挺好的。文章把对微表情的特征学习分为空间学习和时间学习。

文章重点之一，就是空间学习。空间学习，就是用光流矩阵（3维），光流的微分矩阵（2维）和灰度图像作为输入送进VGG-16网络，之后是全连接，最后用LSTM进行分类。
文章的第二个重点，就是时间学习，这里用的卷积网络还是VGG-16不过是带了权重的VGG-16，称为转移学习，输入呢就是光流的微分和灰度图像。和空间学习一样接的是全连接和LSTM，最后用softmax分类。
文章用的评价标准是2018 Micro-Expression Grand Challenge (MEGC)的两种标准，Composite Database Evaluation (CDE) and Holdout-Database Evaluation (HDE).进行实验后的结果如下。


最后，作者移除自己的网络的一部分进行了一些实验，来观察一些参数的变化对结果的影响，比如把VGG-16换成VGG-FACE，图片大小对结果的影响。