cvpr2015的face Alignment 文章笔记

最新推荐文章于 2024-07-13 22:25:29 发布
最新推荐文章于 2024-07-13 22:25:29 发布
阅读量1.2w 收藏 25
点赞数 5
分类专栏： 机器视觉 文章标签： cvpr alignment face face alignment CVPR15
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuyoy520/article/details/47776243
版权

最近开始看face alignment 相关的东西。人脸关键点对齐（我觉得叫人脸关键点定位也挺好）对人脸识别，人脸矫正，表情分析等都有很好的帮助。cvpr14的有两篇论文的检测方法效率很高，很不错。cvpr15感觉好像没有那么追求速度了，但是效果貌似比cvpr14更好。 下面先说说cvpr14我主看的论文再写cvpr15的。附code 链接。

​

1. cvpr14

​

【LBF算法】Face Alignment at 3000 FPS via Regressing Local Binary Features.

​

有牛人改编的C++代码。https://github.com/yulequan/face-alignment-in-3000fps
matlab代码https://github.com/jwyang/face-alignment  ，这些代码不一定完全实现了论文所说的效果，但是都可用



L为landmark个数，每个关键点对应一个feature mapping。,t代表stage.每个stage里，先用ensemble trees学习出每个关键点的feature mapping ，然后根据计算出所有的关键点的LBF特征，连接成为一维特征向量，结合 target shape increments  ，用linear regression学习出线性投影 。

———2015.09.16补充-start—-

试用了几个大神提供的源码版本，感觉效果不行啊，仔细研究论文折腾下效果还是不太好，，，，唉，不过论文里面那个遍历参数确定特征点对所在区域半径那个没有弄，看论文好像影响还是很大的。。。但是遍历参数太耗时间了，就没有折腾。。
这段期间试用了下下文的ERT算法，自己训练的模型，感觉效果很不错。

———2015.09.16补充-end—-

​

【ERT算法】One Millisecond Face Alignment with an Ensemble of Regression Trees.

​

文章有提供dlib c++ library.试用效果很好啊。 http://www.nada.kth.se/~vahidk/face_ert.html

不过是依靠dlib库的，dlib库感觉和opencv同性质的库，个人感觉代码写的很乱，看不懂，，，不过试用效果不错，我用了opencv的harr检测器检测摄像头采集图像里面的脸，然后用dlib的shape predictor 去检测关键点，效果感觉很好，而且速度也很快。

不过再试用训练的时候卡在dlib配置上了，读PNG和JPEG出问题了，http://dlib.net/compile.html说要把一个external文件夹源码加入project，我没搞定。。。


———2015.09.16补充-start—-

根据上面说的方法可以调通了训练程序，我用iBUG 300W 大约三千多张图训练出的模型大小为60+M,效果感觉和原作者提供的90+M的模型大小比较接近了，而且检测速度有提升（难道是因为模型小）。感觉是个很好方法，就是依靠dlib库有点麻烦，原代码不好懂。

———2015.09.16补充-end—-

​

2. cvpr15

​

整理了下今年cvpr的face alignment论文,列表如下，不一定全

[1] Zhu, Shizhan, et al. "Face Alignment by Coarse-to-Fine Shape Searching." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.（有MATLAB源码）

[2] Lee, Donghoon, Hyunsin Park, and Chang D. Yoo. "Face Alignment using Cascade Gaussian Process Regression Trees." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

[3] Tzimiropoulos, Georgios. "Project-out cascaded regression with an application to face alignment." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. (有MATLAB代码，核心部分为mexw64文件）

[4] Zulqarnain Gilani, Syed, Faisal Shafait, and Ajmal Mian. "Shape-Based Automatic Detection of a Large Number of 3D Facial Landmarks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

【PO-CR算法】Project-Out Cascaded Regression with an application to Face Alignment.

​

有Matlab代码 ：http://www.cs.nott.ac.uk/~yzt/   核心部分提供的是.mexw64文件，试用了下，效果很不错。
单幅图循环1000次检测，花费时间为：Elapsed time is 267.831012 seconds. 平均每帧需采用267.83ms, 调用mexw64，在MATLAB下，不知效率如何对比。。。
检测图片示例如下所示，感觉在脸部检测框不是特别准确的时候依然能很准确的检测出关键点位置，赞。

 

【CFSS算法】Face Alignment by Coarse-to-Fine Shape Searching

​

http://mmlab.ie.cuhk.edu.hk/projects/CFSS.html
有提供MATLAB代码 https://github.com/zhusz/CVPR15-CFSS
看readme文件里面需要补充数据，，，额，代码比较多， 好像有libsvm和sift.
readme 文件里面说训练至少需要20G的内存，，，惊呆了。。。
"Training typically requests at least 20 GB of memory (based on the default parameters settings)."
有他们训练好的model下载。 http://mmlab.ie.cuhk.edu.hk/projects/CFSS/model.tar.gz


希望多多交流~~

​

悠悠喵喵wuyoy520
关注
专栏目录
《Supervised Descent Method and its Applications to Face Alignment》笔记
qq_24548569的博客
03-03 265
Introduction 《Supervised Descent Method and its Applications to Face Alignment》是卡内基梅隆大学机器人研究所（The Robotics Institute）在CVPR2013发表的一篇论文，目前引用量有1K+。这篇论文提出了一种监督下降方法（SDM）用于最小化非线性最小二乘（non-linear Least Square...
(Face Alignment) One Millisecond Face Alignment with an Ensemble of Regression Trees 笔记
Lemon&Sprite的博客
04-14 5993
人脸关键点检测，也可以认为是人脸对齐（face alignment）可以采用多种方法进行实现，其中一种比较有代表性的方法是使用回归来完成这一功能。2014年CVPR上“One Millisecond Face Alignment with an Ensemble of Regression Trees”这篇文章是回归方法中的一种，Dlib库中的人脸关键点检测就是依据这一方法进行了实现。 论...
Face Alignment in Full Pose Range: A 3D Total Solution(3DDFA)论文与项目学习
aliuxuwhy的博客
08-04 1471
一： 对于PAF和PNCC的构造理解： PAF：首先初始化一个3DMM的参数P ，然后利用公式重建出三维人脸模型 ； 1：将该三维人脸模型进行上取样得到一个64x64的feature anchor ; 2：在将该三维人脸模型投影到二维平面上，从而又得到一个64x64的feature anchor ; 此时将两个feature anchor设置为一个可视化，一个不可视化； 3：分别剪切每个feature anchor大小为dxd ; 与原来的图片连接成扩展的二维图片 ； 4：将该图片进行卷积处理，得到64
face alignment by 3000fps -论文理解
weixin_NineDays66
09-18 599
3000fps和之前的[ESR][1]使用了同样的cascade的方式，把整个alignment过程分几个stage来做，每一个stage的alignment都依赖上一个stage得到的alignment shape.  每个stage所做的工作一样，可以分为三个过程 提取特征(shape index feature) LBF编码(learning local binary feature) ...
小白学视觉 | 基于 PyTorch 的人脸关键点检测
最新发布
csdn_xmj的博客
07-13 821
计算机真的能理解人脸吗？你是否想过Instagram是如何给你的脸上应用惊人的滤镜的？该软件检测你脸上的关键点并在其上投影一个遮罩。本教程将文章你如何使用PyTorch构建一个类似的软件。
Linux系统下numba库的安装和一些库的清华/阿里源安装
weixin_44136697的博客
02-22 1264
Ubuntu下numba库的安装和一些库的清华/阿里源安装
One Millisecond Face Alignment with an Ensemble of Regression Trees人脸对齐 级联回归树 ERT GBDT
自己的学习笔记
09-11 5171
论文摘要 本文主要面向使用单幅图像进行人脸对齐的问题。我们展示了如何利用级联回归树，从像素强度（像素灰度值）的稀疏子集中估计人脸关键点的位置，并且取得了很好的预测效果以及完全可实时应用的性能。我们提出了一个基于gradient boosting学习级联回归树，优化平方误差loss，并且能够处理标注不全数据的方法。我们展示了如何使用合适的先验来利用图像数据的结构帮助高效的特征选择。我们同样调研了不...
Supervised Descent Method and its Applications to Face Alignment
01-14
Many computer vision problems (e.g., camera calibration, image alignment, structure from motion) are solved through a nonlinear optimization method. It is generally accepted that 2 nd order descent methods are the most robust, fast and reliable approaches for nonlinear optimization of a general smooth function. However, in the context of computer vision, 2 nd order descent methods have two main drawbacks: (1) The function might not be analytically differentiable and numerical approximations are impractical. (2) The Hessian might be large and not positive definite. To address these issues, this paper proposes a Supervised Descent Method (SDM) for minimizing a Non-linear Least Squares (NLS) function. During training, the SDM learns a sequence of descent directions that minimizes the mean of NLS functions sampled at different points. In testing, SDM minimizes the NLS objective using the learned descent directions without computing the Jacobian nor the Hessian. We illustrate the benefits of our approach in synthetic and real examples, and show how SDM achieves state-ofthe-art performance in the problem of facial feature detection. The code is available at www.humansensing.cs. cmu.edu/intraface. 1. Introduction Mathematical optimization has a fundamental impact in solving many problems in computer vision. This fact is apparent by having a quick look into any major conference in computer vision, where a significant number of papers use optimization techniques. Many important problems in computer vision such as structure from motion, image alignment, optical flow, or camera calibration can be posed as solving a nonlinear optimization problem. There are a large number of different approaches to solve these continuous nonlinear optimization problems based on first and second order methods, such as gradient descent [1] for dimensionality reduction, Gauss-Newton for image alignment [22, 5, 14] or Levenberg-Marquardt for structure from motion [8]. “I am hungry. Where is the apple? Gotta do Gradient descent”
《Face Alignment by Explicit Shape Regression》笔记
qq_24548569的博客
03-03 1218
Introduction 《Face Alignment by Explicit Shape Regression》发表在2012年的CVPR上。该论文的主要思想是不断调整已有的人脸特征点的位置，使得人脸特征点不断地往真实人脸靠拢，最终与真实人脸对齐，而且速度非常快。这个逐步缩小人脸特征点坐标误差的方法名为explicit shape regression，具体过程如下图所示： Motivati...
学习笔记：Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment
Class_guy的博客
10-29 2594
这篇论文中设计的网络结构用于seetaface人脸识别引擎中。 作者提出了一个粗到精的自动编码网络（CFAN），级联了一些堆叠自动编码网络（SANs）。 1、初步是将检测到的整体的人脸的低分辨率版本作为输入，这样第一个SAN就能快速并足够准确的预测标志点。---全局SAN 2、余下的SAN随后通过以越来越高分辨率的方式将当前标志（先前SAN的输出）提取的局部特征作为输入进行逐步细化。--局部
论文笔记：Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt Auto-Encoders
Breadcrumb Trails
01-01 1078
论文方法整体框架图 基本方法流程使用深度回归网络（DR）预测人脸形状 一共三层，前面两层是非线性隐藏层，最后一层是线性回归层。 使用去遮挡自编码网络（DA）对当前形状进行遮挡区域恢复（去除遮挡物。 恢复后人脸再次作为深度回归网络的输入进行下一轮的预测，反复迭代。 phi 是特征提取函数，基于形状索引的sift特征 Si实际形状 S是初始形状，通过普通人脸检测获得 基本思想：损坏的部分可以从冗余的图
One Millisecond Face Alignment with an Ensemble of Regression Trees
08-31
解决了单张图片中的人脸对齐问题，给出了如何采用回归树方法直接从一个稀疏子集估计人脸特征点坐标，实现了高精度的人脸对齐效果。提出了基于梯度提高学习的回归树方法，优化损失函数和手工数据标点错误的总和。
superviseddescentmethod工程实现的人脸特征点检测
03-14
该资源是有监督梯度下降算法和随即回归深林的文章，github上的superviseddescentmethod工程实现的人脸特征点检测，就是根据这两篇文章来的
人脸对齐之GBDT(ERT)算法解读
热门推荐
jiajinrang93的博客
05-16 2万+
标签（空格分隔）： ERT GBDT Face_Alignment 作者：贾金让 本人博客链接:http://blog.csdn.net/jiajinrang93 ERT/GBDT实现代码链接（C++版):https://github.com/jjrCN/ERT-GBDT_Face_Alignment欢迎大佬审查，欢迎点赞，谢谢。 1.概述 文章名称：One Millisecond ...
人脸对齐--One Millisecond Face Alignment with an Ensemble of Regression Trees
AI小作坊 的博客
01-08 1万+
One Millisecond Face Alignment with an Ensemble of Regression Trees CVPR2014 http://www.csc.kth.se/~vahidk/face_ert.html https://github.com/suzuichi/OneMillisecondFaceAlignment 本文也是使用级联回归器来做人脸特征对齐
Face Alignment
Just Be Myself
01-13 9362
Face Alignment cvpr
【论文笔记】One Millisecond Face Alignment with an Ensemble of Regression Trees
荆棘鸟的专栏
04-14 2151
参考文献： Kazemi V, Sullivan J. One millisecond face alignment with an ensemble of regression trees[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 1867-1874
One Millisecond Face alignment with an Ensemble of Regression Trees
keyanxiaocaicai的专栏
04-12 3014
摘要： 这篇paper 主要是解决了单个图片的face alignment 问题。我们给出了回归树的集合用来评估脸部的landmark 点的位置。直接从像素强度的稀疏子集，达到超实时的表现。我们给出了一个一般的框架基于gradient boosting 为了学习回归树的集合优化the sum of square error loss 同时自然的处理丢失或者部分被标注的数据（此处是啥意思，face
VIP: 图像中重要人物识别的CVPR 2015论文
"《VIP: Finding Important People in Images》（CVPR 2015）是一篇由Clint Solomon Mathialagan、Andrew C. Gallagher和Dhruv Batra合作完成的重要论文。该研究关注图像中人物的重要性识别，这是计算机视觉领域的一...
评论 37
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值