ICCV2013: 亲属关系预测 Facial Expression Dynamics for Kinship Verification 学习笔记

Dance with Flow: Two-in-One Stream Action Detection

学习时,别忘了总是要问自己一个为什么

---

论文

文章: Like Father, Like Son: Facial Expression Dynamics for Kinship Verification
连接: https://ieeexplore.ieee.org/document/6751296

1. 简介

这篇文章很早,早到深度学习还没有流行. 这篇文章的思想又很简单,即用动态面部表情来预测亲属关系. 想法的根源是: 我们经常会遇到一个现象,有时候我们会觉得一些人长的并不像他们的父母,直到他们笑起来,才发现他们真的很像他们的父母 这说明在面部表情的动态变化中,包含了一些invariance的信息,我们利用这些信息可以做更好的亲属关系匹配. 本文的最大创新点为: 用动态特征来做亲属关系预测

核心

• facial expression dynamics information :
  从多张相邻图像中提取的空前外貌信息以及时序信息
  $+$
• spatio-temporal information:
  landmark的动作信息

通过跟踪landmark的运动轨迹,眼部,眉毛,脸颊与嘴唇的位移信息将会被记录下来.(嘴部三个阶段的位移的平均值也将会被记录下来). 接下来提取表情的动态信息以及空间-时序信息(提取CLBP纹理特征),并把两种信息分别用SVM训练.

2. facial expression dynamic 信息提取

1. landmark extraction:
   利用累进式的因素分析混合模型来计算landmark邻近区域的小波特征,提取17个 landmark点的信息

   This method models Gabor wavelet features of a neighbor- hood of the landmarks using incremental mixtures of factor analyzers and enables a shape prior to ensure the integrity of the landmark constellation

2. landmark tracker
   通过 PBVD 跟踪器进行跟踪

   piecewise B´ezier volume deformation (PBVD) tracker

3. 3D mesh generation
   PBVD把landmark点与3d模型进行贴合.模型通过16块 surface patches生成了标准人脸模型.
4. Registraion
   模型对其
5. temporal segmentation
   在面部表情选择上,选择了微笑这个表情. 微笑这个表情可以被分成三个时间段:onset, apex, offset.分别代表了开始微笑,微笑达到最大值以及结束微笑三个时间段.
6. dynamic features
   提取动态特征,先计算了不同landmark位置的位移偏差信息:

然后分别提取$D_{eyebrow},D_{eyelid},D_{cheek},D_{lip}$的纵向y分量,以及$D_{cheek},D_{lip}$的横向x分量.这些幅度信号被分成三个时间块:onset, apex, offset.
每个时间段的动态特征,又可以提取15个动态features:

所以总共应该是$3\times 15\times 6$个特征

3. spatio-temporal features 信息提取

利用Completed Local Binary Patterns from Three Orthogonal Planes (CLBP-TOP) 提取特征信息.

4. pipeline

根据我的理解,再现的流程图:

5. 结果