DAN —— 人脸关键点

标签: 深度学习alignment
467人阅读 评论(0) 收藏 举报
分类:

人脸关键点检测的论文。速度略差,但想法不错。 视频中人脸关键点检测往往存在抖动,而常见的深度学习方法又不适合做连续跟踪。 本文提供了一个实现跟踪的思路。

文章链接: CVPR Workshop2017《Deep Alignment Network: A convolutional neural network for robust face alignment》

源码(Theano实现): https://github.com/MarekKowalski/DeepAlignmentNetwork

首先,可以明显看出是一个 迭代 处理的框架。 关键点检测流程如下:

(1)初始

输入灰度图 \(I\) 以及 标准关键点模板 \(S_0\),预测得到新的关键点位置 \(S_1\)。

其中“Feed Forward NN” 结构如下,输出136用于预测68个关键点:

新的关键点位置会送入 “Connection Layers”,该网络示意图如下:

首先计算一个 \(S_1\) 到 \(S_0\) 的相似变化矩阵 \(T_1\)。注意,这里不采用仿射变换矩阵,是为了防止局部畸变。 通过 \(T_1\) 我们可以对图像进行矫正得到 \(T_{1}(I)\), 同时对关键点进行变换得到关键点热点图 \(H_{1}\)。 特征图 \(F_{1}\) 是通过拿取 “Feed Forward NN” 的F1特征进一步得到的。

其中 关键点热点图 通过下式计算得到:(其实就是一个中心衰减,关键点处值最大,越远则值越小)

其中 特征图 如下计算的: 输出特征为1x3136,reshape为 56x56, 然后上采样到 112x112,和输入图像一样大。 (之所以一开始不搞成112x112,是因为实验发现提升不大但计算量会增加比较多。)

(2)初始迭代

每次迭代输入 \(T_N(I)\), \(H_N\) 和 \(F_N\) ,它们的维度均为 \(112 \times112\)。 然后计算新的 \(S_{t+1}\)。

需要注意的是,由于图像进行了相似变换,因此为了和最初的输入图像相匹配,需要做如下矫正:

\(S_{t+1} = T_{t+1}^{-1}(T_{t+1}(S_{t})+\Delta S_{t+1})\)

效果图

这里写图片描述

Menpo challenge,没有人脸检测时(直接假定框位于图像中心)的效果:

这里写图片描述

Feature Work

  • End-to-end learning
  • A joint model for semi-frontal and profile faces
  • A learning based method for similarity transform estimation
  • Ensambling of multiple DAN networks
1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:409916次
    • 积分:5027
    • 等级:
    • 排名:第5987名
    • 原创:115篇
    • 转载:11篇
    • 译文:1篇
    • 评论:444条
    最新评论