JDA人脸检测算法详解

最新推荐文章于 2022-11-06 20:29:32 发布

BigCowPeking

最新推荐文章于 2022-11-06 20:29:32 发布

阅读量3.3k

点赞数 1

分类专栏：人脸检测文章标签：人脸检测 JDA

本文链接：https://blog.csdn.net/wfei101/article/details/74788813

版权

人脸检测专栏收录该内容

57 篇文章 7 订阅

订阅专栏

JDA人脸检测算法详解：

第一步: JDA算法原理详解：

作者建立了一个叫post classifier的分类器，方法如下：

1.样本准备：首先作者调用OpenCV的Viola-Jones分类器，将recal阀值设到99%，这样能够尽可能地检测出所有的脸，但是同时也会有非常多的不是脸的东东被检测出来。于是，检测出来的框框们被分成了两类：是脸和不是脸。这些图片被resize到96*96。

2.特征提取：接下来是特征提取，怎么提取呢？作者采用了三种方法：

第一种：把window划分成6*6个小windows，分别提取SIFT特征，然后连接着36个sift特征向量成为图像的特征。

第二种：先求出一个固定的脸的平均shape（27个特征点的位置，比如眼睛左边，嘴唇右边等等），然后以这27个特征点为中心提取sift特征，然后连接后作为特征。

第三种：用他们组去年的另一个成果Face Alignment at 3000 FPS via Regressing Local Binary Features (CVPR14) ，也就是图中的3000FPS方法，回归出每张脸的shape，然后再以每张脸自己的27个shape points为中心做sift，然后连接得到特征。

3.分类：将上述的三种特征分别扔到线性SVM中做分类，训练出一个能分辨一张图是不是脸的SVM模型。

紧接着作者将以上三种方法做出的分类器和初始分类器进行比对，画了一个样本分布的图：

这个图从左到右依次是原始级联分类器得到的样本分类分布和第一种到第三种方法提取的特征得到的样本分类分布。可见做一下shape alignment可以得到一个更好的分类效果。但是问题来了：如果把所有的windows都做一下alignment，即使是3000 faces per second的速度一张图可能也要处理上1秒，这无法满足一般一秒30帧的实时需求。作者也说，用opencv分类器，参数设成99%的recall率将会带来很严重的效率灾难——一张图能找出来3000个框，处理一张图都要好几秒。

以上内容已经证明了alignment确实对detection的preciseness有帮助，这就够啦，对下面的工作也是个启发——能不能在做detection的同时把alignment做了呢？alignment的中间结果是否能给detection带来一些帮助呢？后面慢慢讲。先说两个通用的面部检测和矫正的模型：

1.样本准备：首先作者调用opencv的Viola-Jones分类器，将recal阀值设到99%，这样能够尽可能地检测出所有的脸，但是同时也会有非常多的不是脸的东东被检测出来。于是，检测出来的框框们被分成了两类：是脸和不是脸。这些图片被resize到96*96。

2.特征提取：接下来是特征提取，怎么提取呢？作者采用了三种方法：

第一种：把window划分成6*6个小windows，分别提取SIFT特征，然后连接着36个sift特征向量成为图像的特征。

第二种：先求出一个固定的脸的平均shape（27个特征点的位置，比如眼睛左边，嘴唇右边等等），然后以这27个特征点为中心提取sift特征，然后连接后作为特征。

第三种：用他们组去年的另一个成果Face Alignment at 3000 FPS via Regressing Local Binary Features (CVPR14) ，也就是图中的3000FPS方法，回归出每张脸的shape，然后再以每张脸自己的27个shape points为中心做sift，然后连接得到特征。

3.分类：将上述的三种特征分别扔到线性SVM中做分类，训练出一个能分辨一张图是不是脸的SVM模型。

紧接着作者将以上三种方法做出的分类器和初始分类器进行比对，画了一个样本分布的图：

这么渣的效率可咋办呢？以上内容已经证明了alignment确实对detection的preciseness有帮助，这就够啦，对下面的工作也是个启发——能不能在做detection的同时把alignment做了呢？alignment的中间结果是否能给detection带来一些帮助呢？后面慢慢讲。先说两个通用的面部检测和矫正的模型：

1.级联检测分类器（bagging）：不失一般性，一个简单的级联分类器是这样的：

图中的Ci代表的是第i个弱分类器。x代表的是特征向量，f代表分类得分。每个Ci会根据自己的分类方法对x输出一个分类结果，比如是一张脸或者不是一张脸，而fn（n=1~N)都会对应一个thresholdΘi，让任意一个fn小于对应的Θi的时候，样本就会被拒绝。通常不是一张脸的图片在经过前几个弱分类器的判断后就会被拒绝，根本不用做后面的判断，所以速度很快。

2.级联回归校准（我这翻译…+_+）：这里介绍的是另一个人在10年发的文章：Cascaded Pose Regression (CVPR10)，给图像一个初始shape（通常采用平均shape），然后通过一次一次的回归把shape回归到正确的地方。算法结构很简单，但是效果确实非常好：

回归过程如下：首先提取特征，原作者采用的是Pose-Indexed point features，然后根据特征训练回归函数（可以用线性回归，CART，随机森林等等），原作者采用了一个叫Random Fern Regressor的东西，这里翻译成随机蕨好了（这名字…)，回归出这一阶段的偏移量，然后shape加上这个偏移量，反复这一过程，直到迭代上限或者shape错误率不再下降。随机蕨的算法过程和随机森林类似，他是一个半朴素贝叶斯模型。首先选取M组每组K个特征建立M个蕨（弱分类器），然后假设蕨内特征是相关的，蕨间特征是独立的，这样从统计学上随机蕨是一个完整的把朴素贝叶斯分类器，让计算变得简单：

式中C代表分类，ci代表第I类，M代表蕨数量。

综上，这样回归的过程可以总结成如下形式：

S代表shape，St代表在回归第t阶段的shape，他等于上一阶段的shape加上一个偏置，这个偏置就是上述回归方法之一搞定的。比如随机森林或者随机蕨，或者线性回归。

现在再说说怎么训练得到这个回归Rt。

有两种思路：一种是像刚才随机蕨那样，每个每个蕨的叶子节点存储一个偏移量，计算训练的时候落入这个叶子节点的样本偏移之平均，然后作为最终的叶子节点偏移量。其实就是在优化一个如下目标函数：

然而MSRA组在3000fps中采用的是另一种方法，形状的偏移量ΔδS为：

目标函数是：

其实也是同样的思路，Φ代表特征提取函数，论文中称Φ的输出为局部二值特征（LBF），W为线性回归参数矩阵，其实就是把提取出来的特征映射到一个二维的偏移量上，是一个2*lenth(特征空间维数)的变换矩阵。

首先讲Φ是怎么训练的：Φ其实就是一个随机森林。输入像素差特征（pixel-difference features），输出一个offest。训练的时候随机给每个根节点像素差特征中的一部分。非叶节点的分裂依据是从输入的pixel-difference features中找出能够做到最大的方差衰减的feature。在最后的叶子节点上写上落在叶子节点上的样本偏移量，这个偏移量在之前说到的fern里有用，但是在这里没啥用，因为作者最后不是用这个做回归的而是用LBF，详细的得往下看。如果有多个样本都落在这里，则求平均。这样训练出来的东西就是下面这个公式所表达的东西：

可能有读者看到这就会不懂了，不用管这个公式，等下面的看完了就会懂了。

但是我只想要其中的Φ，于是这里给出了LBF（local binary feature）的定义，直接简单粗暴地统计所有树叶节点是否被该样本落入，如果落入了就记为1否则记为0，然后把所有的01串连起来就是LBF了。还是看图说话：

先看b，随机森林的三棵树，样本经过三棵树后分别落在了第1,2,3个叶子节点上，于是三棵树的LBF就是1000,0100,0010.连接起来就是100001000010.然后看a，把27个特征点的lbf都连接起来形成总的LBF就是Φ了。

接下来是训练w：之前已经得到了wΦ（I,S)以及Φ（I,S),现在想求w，这还不容易吗，直接算呀。不过作者又调皮了，他说他不想求w，而是想求一个总的大W=[w1,w2,w3,…,w27].怎么求呢？得做二次回归。至于为什么要这么做下面会介绍。目标函数：

后面加了个L2项，因为W是炒鸡sparse的，防止过拟合。做线性回归即可得到W。

现在解释一下为啥不直接用w1w2w3…而是要再回归出来一个W：原因有两个：

1. 再次回归W可以去除原先小wi叶子节点上的噪声，因为随机森林里的决策树都是弱分类器嘛噪声多多滴；

2.大W是全局回归（之前的一个一个小w也就是一个一个特征点单独的回归是local回归），全局回归可以有效地实施一个全局形状约束以减少局部误差以及模糊不清的局部表现。

这样一来，测试的时候每输入一张图片I，先用随机森林Φ求出它的LBF，然后在用W乘一下就得到了下一个stage的shape，然后迭代几次就得到了最终的shape。所以效率十分的快。

作者建立了一个分类回归树，就叫CRT好了。这个CRT在距离根节点比较近的几层偏重于分类，在接近叶子节点的几层偏重于回归，具体实现上，每个节点究竟用于回归还是分类呢？用一个概率p表示用于分类的概率，自然回归就是1-p了。而这个p随着深数的深度减小，作者采用了一个经验公式：

知道了CRT怎么建立，那就直接就看算法细节吧！边测试是不是脸边做特征点回归的算法如

JDA采用随机森林的策略来训练一棵树CART，以一定的概率来选择是决策树还是分类树；顶部侧重于检测，底部侧重回归，训练一棵树；JDA依然采用滑动窗口的方式来训练样本，判断没一个窗口是否是人脸；采用随机森林的策略来训练一个模型，每个叶子节点的输出都是特征点的偏移，然后提出特征点附近的特征，作为人脸的特征进行分类；其中叶子节点的输出，之后采用全局的回归优化，预测出来关键点的位置。从而辅助了人脸检测；人脸关键点附近的特征更能表征人脸的信息。

CART的训练过程：叶子节点的分裂采用，随机选择一部分特征，把样本分为左右子树，然后以左子树为根，随机的选择特征，训练左子树的样本，递归循环的训练，直到分类的样本为1或者树的深度达到设置的层数，训练结束。

第二步骤：代码的运行和训练代码中的bug问题

人脸检测算法github:https://github.com/luoyetx/JDA

Cmake编译比较方便，生成相应的windows代码:

windows下安装步骤：

下载好上面github程序和相关依赖库（liblinear，jsmnpp），按下面配置好JDA的指定路径即可，然后点击configure，generate就会生成.sln工程。

打开JDA训练代码：发现无法正常训练：

需要修改： features[i][j] = feature.CalcFeatureValue(img, img_half, img_quarter, shape, stp_mc[i]);

改为：features[i][j] = feature.CalcFeatureValue(img, img_half, img_quarter, shape, stp_mc[j]);

正常的运行训练，可以训练5个点的模型，速度较快。

修改相关的文件：

同时注意修改config.json中的参数个数，

"landmark_n_"
: 5,
"face"
: ../data/face.5w.txt",
"background"
: ["../data/dump/hard.data", "../data/bg_linux.txt"],
"test"
: "../data/test.txt"

"symmetric_landmarks": {
"offset": 1,
"left": [1, 4],
"right": [2, 5]
},
"pupils": 
{
"offset": 1,
"left": [1],                                                              
"right": [2]
},

准备完毕后执行，

./jda train

建议:先详细的学习LBF的人脸定点的算法，之后学习JDA比较容易。

参考博客：http://blog.csdn.net/app_12062011/article/details/52562871

http://www.cnblogs.com/sciencefans/p/4394861.html

BigCowPeking

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
JDA人脸检测算法详解

JDA人脸检测算法详解：第一步: JDA算法原理详解：作者建立了一个叫post classifier的分类器，方法如下：1.样本准备：首先作者调用OpenCV的Viola-Jones分类器，将recal阀值设到99%，这样能够尽可能地检测出所有的脸，但是同时也会有非常多的不是脸的东东被检测出来。于是，检测出来的框框们被分成了两类：是脸和不是脸。这些图片被resize到96*96。2...
复制链接

扫一扫