论文A Main Directional Mean Optical Flow Feature for Spontaneous Micro-Expression Recognition学习笔记

<MDMO特征用于自发的微表情识别>学习笔记
新手上路，如有理解错误，欢迎批评指正！
1论文创新点

提出了一种A Main Directional Mean Optical Flow Feature来进行自发的微表情识别

背景简介

面部表情在社会生活中能提供丰富的信息，宏表情就是平常的表情一般会持续0.5到4s，因而容易被人来识别出来。而微表情是由内心的的真实情感流露所表现出来的。宏表情的在计算机视觉领域技术识别已经取得了不错的效果，而微表情由于其持续时间短，容易被人忽视，特征不明显，所以微表情的技术识别研究进展缓慢。

已有的数据集
已有的五个公开的数据集USF-HD,Polikovsky’s database,SMIC,CASME,CASME||,（补充CAS(ME)^2是最新的数据集），
在以上五个数据集中，只有SMIC,CASME,CASME||是自发的微表情数据集。

1. SMIC数据集通过两种方法（negative,positive）从6个目标中的得到了77种自发的微表情记录，之后又被扩展到从16个参与者得到164个微表情记录；
2. CASME数据集包含195个自发的微表情记录来自20个目标，7种微表情(happiness，sadness,disgust,surprise,fear,repression,tenseness)；
3. CASME||在CASME的基础上改善了视频质量和样品尺寸，在肌肉运动上展现更多细节，达到200fps,面部的像素值更高，达到280x340,数据采集环境是在良好的实验室环境下进行的，采用合适的光照强度来消除光照闪烁；
   所用方法描述
   1，对面部进行分割
   所用方法为DRMF（discriminative response map fitting）,可参考文章,首先用V-J人脸检测器来定位每一帧图片中人脸的位置，之后定位出人脸上的68个点，文章中只用了66个点。设为FP ={fp 1 ;fp 2 ;…;fp 66 }，之后再把人脸分成36个区域
   
   
   2，计算光流
   光流通过检测两帧图像之间像素随时间的变化来推断物体的运动。在视频图片中，一个位于(x,y,t)像素具有强度 I(x,y,t),下一张图片中，运动了 ，
   所以
   
   用泰勒展开式展开
   
   
   
   
   得到的
   
   为此点的光流，记为
   
   文章所用的求光流的方法参考文章

3,在光流领域进行人脸对齐
文章使用了人脸上的13个点，12个轮廓点和一个鼻子上的点，

因为这十三个点收头部姿势的影响最小，在微表情的视频图片中，假设第一帧图片的十三个点位置为

第i帧图片中13个位置为可以通过

得到，于是

在两帧图片中的十三个点的位置都知道后 ，便可以得到一个映射矩阵

文章经过试验对比证明了用光流域的人脸对齐比在图片领域的的对齐更加平滑，对齐效果更加好，因为光流域比特征点更加具有鲁棒性。
4，MDMO Feature

首先将欧几里得坐标系转化为极坐标系，即将

转化为

之后考虑每个ROI里的光流，根据光流的角度将光流分为八个不同bin，


不同于初始的HOOF特征(归一化的光流分布)，文章选择相应ROI里的最大的一个光流vector，然后计算平均值来代表这个区域的特征向量如下式

将所有的ROI的特征向量计算后便可得到相对应帧的特征向量

之后再转化为笛卡尔坐标系，

之后又转化为极坐标系，

之后又说因为每个视频串里的主方向的强度不一样，又将它归一化，如下式

之后便可得到视频串的特征

之后论述了MDMO的优势和HOOF的不同点。
5，微表情识别
将MDMO feature 分为两部分

引入一个参数 来平衡强度和角度的影响，于是特征可以重新写为

之后调用SVM分类器进行分类，整体算法结构如下

之后是实验对比，不赘述。