DAN —— 人脸关键点

标签: 深度学习 alignment
2792人阅读 评论(1) 收藏 举报
分类:

人脸关键点检测的论文。速度略差,但想法不错。 视频中人脸关键点检测往往存在抖动,而常见的深度学习方法又不适合做连续跟踪。 本文提供了一个实现跟踪的思路。

文章链接: CVPR Workshop2017《Deep Alignment Network: A convolutional neural network for robust face alignment》

源码(Theano实现): https://github.com/MarekKowalski/DeepAlignmentNetwork

首先,可以明显看出是一个 迭代 处理的框架。 关键点检测流程如下:

(1)初始

输入灰度图 \(I\) 以及 标准关键点模板 \(S_0\),预测得到新的关键点位置 \(S_1\)。

其中“Feed Forward NN” 结构如下,输出136用于预测68个关键点:

新的关键点位置会送入 “Connection Layers”,该网络示意图如下:

首先计算一个 \(S_1\) 到 \(S_0\) 的相似变化矩阵 \(T_1\)。注意,这里不采用仿射变换矩阵,是为了防止局部畸变。 通过 \(T_1\) 我们可以对图像进行矫正得到 \(T_{1}(I)\), 同时对关键点进行变换得到关键点热点图 \(H_{1}\)。 特征图 \(F_{1}\) 是通过拿取 “Feed Forward NN” 的F1特征进一步得到的。

其中 关键点热点图 通过下式计算得到:(其实就是一个中心衰减,关键点处值最大,越远则值越小)

其中 特征图 如下计算的: 输出特征为1x3136,reshape为 56x56, 然后上采样到 112x112,和输入图像一样大。 (之所以一开始不搞成112x112,是因为实验发现提升不大但计算量会增加比较多。)

(2)初始迭代

每次迭代输入 \(T_N(I)\), \(H_N\) 和 \(F_N\) ,它们的维度均为 \(112 \times112\)。 然后计算新的 \(S_{t+1}\)。

需要注意的是,由于图像进行了相似变换,因此为了和最初的输入图像相匹配,需要做如下矫正:

\(S_{t+1} = T_{t+1}^{-1}(T_{t+1}(S_{t})+\Delta S_{t+1})\)

效果图

这里写图片描述

Menpo challenge,没有人脸检测时(直接假定框位于图像中心)的效果:

这里写图片描述

Feature Work

  • End-to-end learning
  • A joint model for semi-frontal and profile faces
  • A learning based method for similarity transform estimation
  • Ensambling of multiple DAN networks
查看评论

::多层结构连接方式选择的分析::

::多层结构连接方式选择的分析:: Borland公司的MIDAS让我们能用Delphi构建强大的多层分布式数据库系统,MIDAS提供了很多种的客户程序和中间层的连接方式,如:Sockect,DCOM...
  • ghj1976
  • ghj1976
  • 2001-08-19 18:30:00
  • 1154

人脸关键点检测

一:目标 人脸关键点检测是在人脸检测的基础上,对人脸上的特征点例如眼睛、鼻子、嘴巴等进行定位。本例是使用caffe框架实现的结果,效果如下: 二:数据源的制作 ...
  • StromCruise
  • StromCruise
  • 2017-12-08 11:38:30
  • 1069

CNN人脸关键点检测

CNN人脸关键点检测
  • Real_Myth
  • Real_Myth
  • 2016-10-13 10:31:16
  • 3510

人脸关键点标识参考

85点 (AFLW) 68点 (Dlib) 27点 21点 (aflw) 5点
  • u010333076
  • u010333076
  • 2016-06-02 11:14:25
  • 4898

人脸关键点:DAN-Deep Alignment Network: A convolutional neural network for robust face alignment

DAN-Deep Alignment Network,发表于CVPR-2017。很纳闷DAN取名中的D,为什么是deep,如果是深度学习的deep,岂不是很无区分性?有知道的朋友请告诉我这个D是什么意...
  • u011995719
  • u011995719
  • 2017-12-07 09:27:49
  • 1256

人脸关键点定位.Face Alignment by Coarse-to-Fine Shape Searching 算法源码详解(下)

首先按照源码中read me配置。可能运行出错的部分,用黄字高亮了解决方案。 以下分别解说训练和测试代码。...
  • shenxiaolu1984
  • shenxiaolu1984
  • 2015-11-26 23:20:42
  • 3444

【Caffe实践】基于Caffe的人脸关键点检测实现

引言如果关注Kaggle 机器学习项目的同学,一定很熟悉人脸关键点检测这个任务,在2013 年的时候,ICML举办一个的challgene,现在放在kaggle 上作为 一种最常规kaggle入门任务...
  • chenriwei2
  • chenriwei2
  • 2015-11-09 09:32:05
  • 36232

自动提取人脸关键特征点

自动提取人脸关键特征点                                                                                         ...
  • byxdaz
  • byxdaz
  • 2006-04-05 14:06:00
  • 18868

caffe_人脸关键点(5点)_src_vs2013

  • 2016年08月23日 09:22
  • 41.98MB
  • 下载

人脸识别,人脸关键点检测算法

1 Face++:http://www.faceplusplus.com.cn/tech_landmark/ 其提供的技术服务有1:人脸检测(人脸检测追踪,人脸关键点检测) 2:人脸分析(微笑分析,性...
  • sloanqin
  • sloanqin
  • 2015-09-05 13:52:26
  • 4470
    个人资料
    持之以恒
    等级:
    访问量: 78万+
    积分: 7587
    排名: 3585