人脸识别之人脸关键点

深度学习人脸关键点检测方法----综述

转自人脸关键点检测综述

不知道为什么在ubuntu下知呼中的图片无法显示

人脸关键点检测是人脸识别和分析领域中的关键一步，它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。因此，本文针对深度学习方法进行了人脸关键点检测的研究。

一、人脸关键点数据集

传统人脸关键点检测数据库为室内环境下采集的数据库，比如 Multi-pie、Feret、Frgc、AR、BioID 等人脸数据库。而现阶段人脸关键点检测数据库通常为复杂环境下采集的数据库.LFPW 人脸数据库有 1132 幅训练人脸图像和 300 幅测试人脸图像，大部分为正面人脸图像，每个人脸标定 29 个关键点。AFLW 人脸数据库包含 25993 幅从 Flickr 采集的人脸图像，每个人脸标定 21 个关键点。COFW 人脸数据库包含 LFPW 人脸数据库训练集中的 845 幅人脸图像以及其他 500 幅遮挡人脸图像，而测试集为 507 幅严重遮挡(同时包含姿态和表情的变化)的人脸图像，每个人脸标定 29 个关键点。MVFW 人脸数据库为多视角人脸数据集，包括 2050 幅训练人脸图像和 450 幅测试人脸图像，每个人脸标定 68 个关键点。OCFW 人脸数据库包含 2951 幅训练人脸图像(均为未遮挡人脸)和 1246 幅测试人脸图像(均为遮挡人脸)，每个人脸标定 68 个关键点。

1.1 传统方法

1.1.1 ASM(Active Shape Model)

?An Introduction to Active Shape Models

人脸Pose检测：ASM、AAM、CLM总结 - wishchin - 博客园 (详细说明)

ASM（Active Shape Model）算法介绍

ASM(Active Shape Model)主动形状模型通俗易懂讲解一：理论

搜索ASM有很多。

ASM(Active Shape Model) 是由 Cootes 于 1995 年提出的经典的人脸关键点检测算法，主动形状模型即通过形状模型对目标物体进行抽象，ASM 是一种基于点分布模型(Point Distribution Model, PDM)的算法。在 PDM 中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键点(landmarks)的坐标依次串联形成一个形状向量来表示。ASM 算法需要通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配。

ASM 主要分为两步：

第一步：训练。

首先，构建形状模型：

1. 搜集 n 个训练样本(n=400);
2. 手动标记脸部关键点（68个）;
3. 将训练集中关键点的坐标串成特征向量;
4. 对形状进行归一化和对齐(对齐采用 Procrustes 方法);
5. 对对齐后的形状特征做 PCA 处理。

接着，为每个关键点构建局部特征。目的是在每次迭代搜索过程中每个关键点可以寻找新的位置。局部特征一般用梯度特征，以防光照变化。有的方法沿着边缘的法线方向提取，有的方法在关键点附近的矩形区域提取。

第二步：搜索。

首先：计算眼睛(或者眼睛和嘴巴)的位置，做简单的尺度和旋转变化，对齐人脸;

接着，在对齐后的各个点附近搜索，匹配每个局部关键点(常采用马氏距离)，得到初步形状;

再用平均人脸(形状模型)修正匹配结果;迭代直到收敛。

ASM 算法的优点在于模型简单直接，架构清晰明确，易于理解和应用，而且对轮廓形状有着较强的约束，但是其近似于穷举搜索的关键点定位方式在一定程度上限制了其运算效率。

1.1.2 Active Appearance Models

主动外观模型(AAM) - OpenCV China

AAM（Active Appearance Model）算法介绍

AAM算法简介

1998 年，Cootes 对 ASM 进行改进，不仅采用形状约束，而且又加入整个脸部区域的纹理特征，提出了 AAM 算法。AAM 于 ASM 一样，主要分为两个阶段，模型建立阶段和模型匹配阶段。其中模型建立阶段包括对训练样本分别建立形状模型 (Shape Model) 和纹理模型 (Texture Model)，然后将两个模型进行结合，形成 AAM 模型。

1.1.3 Cascaded pose regression

Cascaded pose regression 介绍说明

2010 年，Dollar 提出 CPR(Cascaded Pose Regression, 级联姿势回归)，CPR 通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个系统可自动的从训练样本中学习。

所谓的线性回归，其实就是一个不断迭代的过程，对于每一个stage中，用上一个stage的状态作为输入来更新，产生下一个stage的输入，以此类推，直到达到最底层stage。