应用级联CNN的人脸检测--笔记

最新推荐文章于 2024-04-27 08:12:13 发布
最新推荐文章于 2024-04-27 08:12:13 发布
阅读量3.4k 收藏 5
点赞数 1
分类专栏： 人脸检测 文章标签： cnn 人脸检测 机器学习

一、总述：

此基于级联CNN的网络，同时具有高区分能力和快速性（高性能）。

两个结构特点：

1.  采用多分辨率，在前期的低分辨率层，快速的剔除背景区域；在后面的高分辨层，仔细预估难以区分的候选检测图。

2.  基于CNN的矫正层，跟在检测层之后，可以改进定位效率，和为后面层级减少候选的检测图数。

校准层调整检测窗口的位置，它的输出作为后面紧随层的输入。传统VGA图在单核CPU上可以跑到14 FPS，在GPU上可以跑到100 FPS。

 

二、级联CNN

2.1整体框架


图1

图1检测气的检测流程，从左到右，检测窗口在减少，并且（检测）层与层之间是有调整/矫正层的。

给定一幅图像，12-net将密集的扫描这整幅图像（不同的尺寸），快速的剔除掉超过90%的检测窗口，剩下来的检测窗口将被12-calibration-net逐个的以12x12的图像去调整它的尺寸和位置，让它更接近潜在的人脸图像的附近。

用非极大值抑制（NMS）去除高度重叠的检测窗口。剩下来的检测窗口将会被挑出并归一化没到24x24的图像作为24-net的输入，这将进一步剔除掉剩下来的将近90%的检测窗口。和之前的过程一样，通过24-calibration-net矫正检测窗口，并应用NMS进一步降低检测窗口的数量。

最后的48-net,将通过之前所有层级的检测窗口，以48x48的图像来估计检测窗口。NMS消除重叠是通过使用 交叉覆盖联合（IoU）比率超过预设阈值的方法。24-calibration-net矫正检测窗口作为最后的输出。

2.2  CNN结构

有6个CNNs被级联，3个人脸和非人脸的二分类CNNs；3个边框调整的CNNs，它是多分类的离散位移模式。没有特殊说明，我们使用ReLU非线性函数在下采样层和全连接层之后。

 

2.2.112-net

在测试流程中我们首先使用12-net吗，见图2。密集的扫描WXH 的图像，步长为4像素，12x12检测窗口。相当于使用12-net去获得一个增幅图像的([（W-12）/4]+1)x([（W-12）/4]+1) 置信分。

如果获得最小的人脸尺寸为F，测试图像会首先被建成图像金字塔，每级比例为12/F,作为12-net的输入。


图2检测网络结构

 

2.2.212-calibration-net

12-calibration-net是在12-net之后进行边框的矫正。结构见图3。N个矫正模式是预先设定好的，他是一个3维变量变化的无序向量。相关的关系见图4

 

 


图3矫正网络结构

 


图4 45种矫正模式及具体矫正方法

有N（45）个矫正模式。

给定一个检测窗口，窗口区域被剪出来并归一化到12x12作为12-calibration-net的输入。矫正网络将输出一个置信分的向量 。由于矫正模式之间不是正交的，所以采用高置信分模式的均值，来矫正。相关均值关系见图5。


图5 均值计算定义

 

2.2.324-net

24-net进一步减少检测窗口的数量，用12-calibration-net的输出窗口，resize到24x24,24-net进行预估。结构在图2。

同样相似，的浅层结构可以提高时间上的效率。并在24-net中采用多分辨率结构。在24-net中为了两种分辨率的图像分别为24x24和12x12。图2 ，全连接层就是之前的12-net的子结构（fully-connected layer），它被串联到128输出的全连接层。带有多分辨率的结构，12-net补充了24-net，可以帮助检测小脸。

图6是是否带多分辨率的实验对比


图6是否带多分辨率的实验对比

 

2.2.424-calibration-net

与12-calibration-net相比，除了输入size的不同，其它都相同。

 

2.2.5 48-net

图2,48-net 是相对复杂的，和24-net相似采用了多分辨率。

 

2.2.6 48-calibration-net

它和12-calibration-net一样都用了45个预先定义的模式。48-calibration-net只用了一个下采样层，这样可以提高矫正精度。

 

2.2.7 非极大值抑制（NMS）

迭代选择高置信分的检测窗口，消除交叉联合(IoU)比例高于预设阈值的检测窗口。12-net和24-net是浅CNNs，无足够的区分性，假阳性的挑战很大。12-calibration-net和24-calibration-net假阳性的挑战更大，因为跟高的置信分。因此，在12-calibration-net和24-calibration-net后面分别加了NMS，避免相同尺寸的检测窗口的召回率的降低。NMS在48-net被应用到了所有不同比例的窗口上，为了获得最精确的检测位置，及正确的图像比例，和避免冗余估计。

 

2.3矫正CNN


图7是否矫正对比

蓝色框是未调整的，红色检测框是调整后的。

绝大多数的检测框没有很好地对齐人脸。没有对齐步骤，接下来的级联CNN为了保证召回率，必须去估计更大区域的图像。整体检测时间将明显提高。

这个问题普遍存在于目标检测中。用多分类的矫正CNN代替了R-CNN，因为在有限的训练数据集下，多分类的CNN训练起来跟容易。我们相信离散化降低了矫正问题的难度，所以可以用更简单的CNN结构，获得好的矫正精度。

 

2.4训练过程

在级联CNNs的训练中，使用了5800张背景图来获得负样本，用AFLW作为正样本。在二分类和多分类的级联CNNs的训练中用了多元逻辑回归目标函数进行优化。

 

2.4.1矫正网络

对于矫正网络的训练数据，我们将标注好的人脸，用前面的45种矫正模式进行扰动。例如第n种模式 ，应用去调整标注好的人脸框，剪出来resize到（12x12,24x24,48x48）。

 

2.4.2检测网络

12-net,24-net,48-net是按照级联结构训练的：

a.随机抽样20万张Neg，12x12 Pos 训练12-net

b.用12-net和12-cali级联（2-stage）在AFLW上确定阈值T1（置信分，99%的召回率）

c.在background 用2-stage，开采Neg，大于T1的图 喂给24-net

d.N(大于T1)和P(24x24)训练24-net

e.同样方法级联（4-stage）在AFLW确定T2(97%recall)

f.同c开采neg(大于T2)喂给48-net

g.训练 48-net  N P(48x48)
蛋黄爱蛋清
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
matlab基于笔记本电脑的摄像头的人脸检测
12-21
接下来，可以应用预定义的级联分类器，如OpenCV提供的Haar特征级联分类器XML文件，通过`vision.CascadeObjectDetector`函数来进行人脸检测。 代码示例可能会如下所示： ```matlab % 初始化摄像头 cam = webcam; %...
项目笔记-基于深度学习的人脸识别1
08-04
- 对检测到的人脸区域应用预处理步骤，然后输入到预训练的CNN模型中进行识别。 - 输出识别结果，可能是特定个体的名字或其他标识。 6. **项目学习与挑战**： - 项目开发者在2017年8月到11月期间自学了Python、...
Cascade R-CNN: High Quality Object Detection and Instance Segmentation（级联R-CNN：高质量目标检测与实例分割）
TJMtaotao的博客，高校计算机教师
12-01 3942
Cascade R-CNN: High Quality Object Detection and Instance Segmentation Zhaowei Cai, and Nuno Vasconcelos https://github.com/guoruoqian/cascade-rcnn_Pytorch 摘要在目标检测中，交并比（IoU）阈值经常被用来定义正/负。用于训练检测器的阈值定义...
图像三维重建专题第四期-使用级联CNNs对深度图去噪和精炼DDRNet
CSS360的博客
08-24 666
论文链接 摘要 消费级传感器越来越受到欢迎和在我们的日常生活被它最近的融合在最新的IphoneX。然而，他们仍然受困于噪声而限制他们的应用。虽然大部分的处理已经被做来减少噪声和boost矩阵细节，由于先天固有因素和实时的需求，这个问题仍然没有被很好解决。我们提出了一个级联深度去噪和精炼网络（DDRNet）来处理这个问题，通过利用多帧融合几何和完成高质量颜色图像通过一个加入训练策...
【人脸识别】Haar分类器五官定位【含 GUI Matlab源码 686期】
最新发布
Matlab912100926的博客
04-27 769
Haar分类器五官定位 完整代码，直接运行，适合小白！可提供运行操作视频！
PAMI19 - 强大的级联RCNN架构《Cascade R-CNN: High Quality Object Detection and Instance Segmentation》
要相信光
12-23 2842
Cascade RCNN 级联的RCNN架构 论文分析与解读
使用级联深度卷积网实现面部特征点检测
通往人工智能的崎岖之路
05-25 2345
该文章发表在CVPR2013上，主要讲述了如何利用深度卷积网实现人脸特征点的位置预测，个人认为本文最大的亮点在于巧妙地将神经元的输出和坐标值联系起来，实现了多点位置预测。从作者的结果来看，似乎该方法可以秒杀其他任何面部特征点检测算法，具体是不是这样，还需要广大童鞋去验证。
【CV 入门必读论文】人脸检测的突破：探索 CNN 级联的力量
繁依Fanyi的博客
06-21 320
总的来说，这篇论文的贡献在于提出了一种基于CNN级联的人脸检测方法，通过多个网络模型的串联和优化，实现了高效、准确的人脸识别。该方法在人脸检测领域取得了显著的成果，对于解决实际应用中的人脸识别问题具有重要的指导意义。
论文《A Convolutional Neural Network Cascade for Face Detection》笔记
荆棘鸟的专栏
02-05 1万+
论文：A Convolutional Neural Network Cascade for Face Detection.pdf 实现：https://github.com/anson0910/CNN_face_detection 该论文发表于2015年CVPR上，作者提出了一种级连的CNN网络结构用于人脸识别，论文的主要贡献有以下四点： 提出了一种级连的CNN网络结构用于高
face_recognizer-for-jupyter:易于安装Jupyter笔记本的面部识别软件
05-16
人脸检测使用算法如Haar级联分类器或HOG+SVM来定位图像中的人脸；特征提取通常采用局部二值模式（LBP）、主成分分析（PCA）或更现代的方法如深度学习的卷积神经网络（CNN）来抽取人脸的特征；最后，人脸识别阶段会...
FaceRecognitionPaperNotes:人脸识别纸笔记
03-28
人脸检测是人脸识别前的重要步骤，常用算法有Haar级联分类器、Adaboost、HOG+SVM以及基于深度学习的MTCNN、SSD和YOLO等。这些方法能够精确地定位出图像中的人脸区域，为后续的特征提取和匹配提供稳定的输入。 在...
CNN卷积神经网络应用于人脸识别（带详细流程+代码实现）
01-30
《DeepLearning tutorial（5）CNN卷积神经网络应用于人脸识别（详细流程+代码实现）》这篇文章的代码，将CNN用于人脸识别，整个实现流程请见：http://blog.csdn.net/u012162613/article/details/43277187
基于OpenCv的人脸识别系统设计与实现代码大全.doc
10-19
- 使用OpenCV的级联分类器（CascadeClassifier）进行人脸检测。这个分类器通常基于Haar特征或LBP（Local Binary Patterns）特征，通过滑动窗口在图像中寻找人脸区域。在本例中，使用了预训练的`haarcascade_...
深度学习（十八）级联网络（2）
QuinnHanz的博客
06-16 5036
sorry,笔记正在上传。。。
卷积神经网络CNN
积一时之步，臻千里之遥程
11-25 3487
转载自：https://blog.csdn.net/weixin_40645361/article/details/105018944（作者：一只懒猪猪） Part One.卷积神经网络的基本原理 一、卷积神经网络的基本结构 对于一个输入图像，进行卷积操作，得到一个特征图像feature map的一个值(紫色部分)，然后通过滑动卷积核对图像上的不同的区域做处理，可以得到这个特征图1。这个特征图1，就是对原始的图像通过卷积操作和激活函数这样的处理得到的。然后这个特征图1可以通过池化层pooling，然后
R-CNN阅读笔记
may0324的博客
05-03 2077
前言纵观目标检测算法领域的发展过程，从基于VJ的级联HAAR人脸检测器到Lowe的SIFT尺度不变目标检测，从Dalal的HOG行人检测，再到Felzenszwalb的DPM，无疑不是一次次里程碑式的发展变革，为后人的研究提供了更宽广的思路和更夯实的基础。然而即使是前几年被寄予重大希望的segDPM[2]，在权威测试集PASCAL VOC上的MAP(MEAN AVERAGE PRECISION)也只
表情识别（四）--多网络级联表情识别
工作笔记
05-28 9792
        EmotiW2015比赛静态表情识别的亚军，采用的方法为cnn的级联，人脸检测方面也采用了当时3种算法的共同检测，通过在FER2013数据库上进行模型预训练，并在SFEW2.0（比赛数据）上fine-tune,从而在比赛的验证集和测试集上取得55.96%和61.29%的准确率,远远超过比赛的baseline(35.96%，39.13%)。 作者本文主要贡献如下: ...
深度学习（十五）基于级联卷积神经网络的人脸特征点定位
热门推荐
hjimce的专栏
11-21 4万+
本篇博文主要讲解2013年CVPR的一篇利用深度学习做人脸特征点定位的经典paper：《Deep Convolutional Network Cascade for Facial Point Detection》，论文的主页为：http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm 。网页提供了训练数据、测试demo，但是我却没有找到源码，所以只能自己写代码实现。这篇paper是利用深度学习搞人脸特征点定位的开山之作，想当年此算法曾经取得了state-of
CascadeCNN人脸检测学习笔记
XZZPPP的博客
06-16 1万+
原文：A Convolutional Neural Network Cascade for Face Detection 1、简介     CascadeCNN是对经典的Viola jones方法的深度卷积网络实现，是一种检测速度较快的人脸检测方法。使用VGA图片，在CPU上达到14FPS，GPU上达到100FPS，在FDDB上达到85.1%的召回率和87%的准确率。 2、总体框
vue级联选择器v-model
08-31
Vue级联选择器使用v-model来实现双向数据绑定。v-model指令在内部使用了value和input事件，使得父组件能够通过v-model来控制子组件的值，并且子组件的值的变化也可以反馈给父组件。 在级联选择器的父组件中，你可以使用v-model来绑定一个变量，这个变量将会被用来存储当前所选的值。例如： ```html <template> <div> <cascade-selector v-model="selectedValue"></cascade-selector> </div> </template> <script> import CascadeSelector from './CascadeSelector.vue'; export default { components: { CascadeSelector }, data() { return { selectedValue: '' }; } } </script> ``` 在子组件CascadeSelector中，你可以使用props接收父组件传递的值，并在选择发生变化时，通过$emit('input', value)来触发父组件的input事件，从而更新父组件的数据。例如： ```html <template> <div> <select v-model="selected" @change="handleChange"> <option value="">请选择</option> <option v-for="item in options" :value="item.value" :key="item.value">{{ item.label }}</option> </select> </div> </template> <script> export default { props: ['value'], data() { return { selected: '' }; }, computed: { options() { // 返回级联选择器的选项数据 } }, mounted() { // 初始化选中值 this.selected = this.value; }, methods: { handleChange() { this.$emit('input', this.selected); } } } </script> ``` 这样，父组件和子组件之间就建立了双向数据绑定，父组件中的selectedValue会随着子组件的选择发生变化而更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值