MTCNN超详解

最新推荐文章于 2024-09-03 14:12:24 发布
最新推荐文章于 2024-09-03 14:12:24 发布
阅读量1w 收藏 189
点赞数 21
文章标签： 深度学习 计算机视觉 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46470894/article/details/106383539
版权

MTCNN超详解

基于PyTorch的人脸检测算法模型MTCNN

本文对MTCNN的样本制作，网络搭建，使用过程以及将要使用的算法和工具做了详尽的说明。
源码部分可直接点击MTCNN代码下载。

一、MTCNN的介绍

1、人脸检测算法模型MTCNN使用多任务级联卷积网络进行联合人脸检测和对齐。

  • 多任务体现在：人脸的检测和关键点的对齐两个训练任务
  • 级联体现在：在使用MTCNN检测人脸时使用三个网络串行使用

2、MTCNN的三个网络

  • P-Net(ProposalNetwork): 12*12, 找出建议框
  • R-Net(RefinementNetwork): 24*24, 精细化建议框
  • O-Net(OutputNetwork): 48*48, 输出最终的结果

网络输入越来越大，是为了网络的层数可以越来越深，学习能力能越来越好

3、MTCNN的优缺点：

优点：

  • 设备要求低：使用了级联思想，将复杂问题分解，使得模型能够在小型设备上运行；
  • 容易训练：三个级联网络都较小，训练模型时容易收敛；
  • 精度较高：三个网络逐步加深，逐步提高精度

缺点：

  • 误检率较高，由于网络学习的背景图片太少，可以通过增加负样本的比例改善

二、MTCNN用到的主要模块

1、图像金字塔

MTCNN是如何从单类单目标检测，过渡到单类多目标的检测呢？

检测一张图中多个人脸有两种方式：

  1. 将一张图片划分成N个区域，在每个区域中分别检测人脸
  2. 设置建议框，用建议框在图片上滑动检测人脸

MTCNN采用的就是第二种，利用P网络的建议框在原图上不断的滑动去检测人脸，但是由于P网络的建议框的大小时固定的，只能检测12*12范围内的人脸，没法检测大一点的人脸，因此引入了图像金字塔的概念。
图像金字塔
不断缩小图片以适应于建议框的大小，当下一次图像的最小边长小于12时，停止缩放。

2、IOU

作用：计算两张图像的重合程度
两种方式 ：

  1. 交集比并集
  2. 交集比最小集

由于我们在算iou时，iou值大于阈值的框被认为是重复的框会丢弃，留下iou值小的框，但是如果出现了下图中大框套小框的情况，则iou值偏小也会被保留，是我们不想看到的，因此我们在O网络采用了第二种方式的iou以提高误检率。

3、NMS

作用：去除预测结果中重复的框
预测出的结果出现很多重复框的原因：

  1. 由于我们传入一张图片时，会不断对图片做金字塔下采样，每一次都要对采样后的图片去检测人脸；
  2. 当我们检测时是用P网络以步长为2的大小在图片上滑动，由于滑动步长过小，会导致一个人脸被框了很多次

nms的计算方式
在这里插入图片描述
假设我们第一次在一张图上框出了五个人脸，置信度分别为0.98，0.83，0.75，0.81，0.67，前三个置信度为一个人脸，后两个为一个人脸。
我们将这五个框根据置信度排序，取出最大的置信度(0.98)的框分别和剩下的框做iou，保留iou小于阈值的框(代码中阈值设置的是0.3)，这样就剩下0.81和0.67这两个框了，重复上面的过程，取出置信度(0.81)大的框，和剩下的框做iou，保留iou小于阈值的框。这样最后只剩下0.98和0.81这两个人脸框了。

4、图像正方形转换

作用：防止图像缩放时产生变形
方式：
在这里插入图片描述

图中蓝色的框是P网络的预测框，黄色框是转换成正方形的框

由于P网络预测出的人脸框大部分都是矩形框，在我们传到R网络时要将框出的图片缩放成24x24的大小，如果直接缩放就像上图中右侧第二个一样，人脸会变形，不是我们想要的。
图中右侧第三个是先将矩形框的图片裁剪下来，再转成正方性后缩放的图，但是会有黑边。
最终采用的是将矩形框按照最大的边长转换成正方形再按照正方形的框从原图中裁剪下来图片后缩放成24x24的大小传入R网络，如图中右侧第四个，O网络同理。

5、图像坐标反算

作用：就是根据网络输出的预测值算出真实框的位置和大小

我们制作标签的时候用的是坐标的偏移量，因此我们需要根据网络预测的偏移量算出真实框的位置。

由于P网络是通过在图片上不断滑动得到的输出，因此计算真实坐标时需要把滑动的步长也要算进去。
接下来，我们就看看具体的计算方法：
在这里插入图片描述

图像金字塔中建议框坐标的反算

上图左边的是检测的图形，右边是P网络输出的特征图，根据特征图的索引乘以滑动步长就可以算出对应在原图中的建议框位置。

公式如下：
在这里插入图片描述
公式中的scale是图像金字塔中的缩放比例。

在这里插入图片描述

根据预测偏移量反算框的坐标

得到建议框的位置(上图中蓝色的框)后根据网络输出的偏移值，就可以求出真实框(黄色的框)的位置和大小了。
在这里插入图片描述
公式中offset为网络预测的偏移值, w,h为建议框的宽高。

三、MTCNN的网络架构

1、样本数据的生成

训练样本采用的是以CelebA数据集为基准进行偏移而成，
CeleA是香港中文大学的开放数据，包含10177个名人的202599张图片
官网：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
下载地址（百度网盘，官方的）：http://pan.baidu.com/s/1eSNpdRG

对CelebA数据集样本的人脸坐标框进行随机偏移，根据偏移框和真实框的iou大小来判别属于哪一类样本。
正样本：IOU>0.65
部分样本：0.4<IOU<0.65
负样本: IOU<0.3
正样本、部分样本、负样本的比例是1：1：3
因为这样偏移的负样本数据不够全面，因此负样本的比例要多一些。
在这里插入图片描述 在这里插入图片描述 在这里插入图片描述
红色框为真实框，蓝色框为偏移框
上图从左到右，依次是正样本、部分样本和负样本。

2、网络模型搭建

在这里插入图片描述

P网络

在这里插入图片描述

R网络

在这里插入图片描述

O网络

P网络为4层全卷积网络，第一层的池化核为2x2，输出了三个部分，第一部分表示类别，第二部分表示坐标的回归，第三部分表示5个关键点的回归(样本数据的生成里未指出)。
R网络为5层网络结构，前三层为卷积层，最后两层使用的是全连接层，第一层和第二层的池化核为3x3，输出部分同P网络。
O网络为6层网络结构，前四层为卷积层，最后两层使用的是全连接层，第一层和第二层的池化核为3x3，第三层的池化核为2x2，输出部分同P网络。

3、网络模型的训练

根据样本的置信度分类([负,正,部分] ：[0,1,2])，对样本进行分类训练。

  1. 将类别小于2 的正、负样本用来做置信度的训练，损失函数选择BCE
  2. 将类别大于0的正、部分样本用来做坐标偏移量的训练，损失函数选择MSE

由于P，R，O三个网络的样本都是各自独立的，所以可以同时训练三个网络。

四、MTCNN的检测流程

在这里插入图片描述
检测步骤：
第一步：输出一张图片，将图片等比例缩放成N张图片，逐一穿入P网络中，P网络输出包含偏移率和置信度的三维特征图；
第二步：根据置信度做判断，如果置信度大于设定的阈值就留下该网格中的偏移率反算回原图坐标，得到网络的预测框；
第三步：对所有的预测框做NMS，去除多余重复的框，留下重复较少的预测框转成正方形，把原图对应位置的正方形裁剪下来；
第四步：缩放成24x24的大小放入R网络，R网络做更精确的回归和置信度筛选，输出偏移率和置信度的二维特征图(N,V结构)，之后重复第二和第三步；
第五步：缩放成48x48的大小放入O网络，O网络做更精确的回归和置信度筛选，输出偏移率和置信度的二维特征图(N,V结构)，之后重复第二步；
第六步：对得到的预测框做第二种方式的NMS，最后输出坐标，画出预测框。

下图展示的是P网络输出后做NMS和正方形转换的细节：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

jiangtao129
关注
人脸检测算法模型MTCNN
qq_40107571的博客
01-11 2269
人脸检测算法模型MTCNN
人工智能算法工程师(高级)课程1-单类目标识别之人脸检测识别技术MTCNN模型介绍与代码详解
weixin_42878111的博客
07-18 643
大家好，我是微学AI，今天给大家介绍一下人工智能算法工程师高级课程1-单类目标识别之人脸检测识别技术与代码详解。本文深入探讨了基于PyTorch的人脸检测与识别技术，详细介绍了MTCNN模型、Siamese network以及center loss、softmax loss、L-softmax loss、A-softmax loss等多种损失函数的原理与实现。通过配套的完整可运行代码，展示了如何在PyTorch中搭建单类多目标项目的人脸检测识别流程，并指导读者训练出自己的人脸识别模型。
MTCNN原理详解
qq_43620540的博客
03-24 2024
1. P-Net P-NET是一个全卷积网络（Fully Convolutional Networks），不涉及到全连接层，因此可以处理不同大小的图片，卷积、池化、非线性激活都是一些可以接受任意尺度矩阵的运算，//但全连接运算是需要规定输入。如果网络中有全连接层，则输入的图片尺度(一般)需固定；如果没有全连接层，图片尺度可以是任意的。 P-Net感受野为固定值12x12，用于判断12×12大小范围...
MTCNN详细解读
qq128252的博客
05-03 5633
MTCNN详细解读原理介绍代码解读实际效果 原理介绍 MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。 它是2016年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，该模型主要采用了...
深度学习——基于MTCNN算法实现人脸侦测
最新发布
swpucwf的博客
09-03 2349
这里写目录标题先看效果MTCNN主体思想级联网络图像金字塔IOU算法iou 公式nms 算法数据代码训练代码侦测代码总结 先看效果 MTCNN 从2016年，MTCNN算法出来之后，属实在工业上火了一把，最近尝试着把论文代码复现了一下。 主体思想 级联网络 ** 这篇论文属于一篇多任务级联卷积神经网络，如图，利用P、R、O 三个网络来进行检测。 算法步骤： 将传入p网络中，预选一些框，生成特征图 将p网络中的预选框传入R网络中进行进一步筛选 将R网络中的预选框传入O网络中进行进一步筛选 O网络进行
【深度学习】MTCNN总结
阳一子的博客
10-26 6781
目录 MTCNN总结 1、网络结构及思想 1.1 总体流程 1.2整体网络结构 1.3 P网络 1.4 R网络 1.5 O网络 1.6 级联思想 1.7 MTCNN优缺点 2 整体流程 2.1 生成样本 2.2 编写网络结构 2.3 训练网络 2.4 使用过程 3 问题及解决方法 4、模型效果 5 其他拓展 MTCNN总结 1、网络结构及思想 1.1 总体流程 由仿生学启发，侦测时从左至右、从上至下一个个的数人脸。 生成样本（检查生成）——》复现模型——》处理数.
MTCNN算法详解
Loong Cheng的博客
06-07 3921
The Multi-task Cascaded Convolutional Networks (MTCNN)算法出自深圳先进技术研究院，乔宇老师组，2016的ECCV。facenet中人脸对齐和特征提取就是用了这个网络。 算法流程图 MTCNN由3个网络结构组成（P-Net,R-Net,O-Net）。 （1）Proposal Network (P-Net)：...
mtcnn
aong4563的博客
09-18 307
待更 转载于:https://www.cnblogs.com/yunshangyue71/p/11543976.html
【课程总结】Day13（下）：人脸识别和MTCNN模型
Deadwalk的专栏
07-06 782
在上一章课程【课程总结】Day13（上）：使用YOLO进行目标检测，我们了解到目标检测有两种策略，一种是以YOLO为代表的策略：特征提取→切片→分类回归；另外一种是以MTCNN为代表的策略：先图像切片→特征提取→分类和回归。因此，本章内容将深入了解MTCNN模型，包括：MTCNN的模型组成、模型训练过程、模型预测过程等。
MTCNN/LPRNet车牌识别细节
平凡简单的执着
05-25 9818
前面一篇文章介绍了利用PyTorch实现的MTCNN/LPRNe车牌识别的理论框架，但是光有理论还不行，这篇文章主要是对里面的一些具体细节进行阐述。 车牌识别整体流程： 读取图片 PNet网络处理 ONet网络处理 STN网络处理 LPRNet网络识别 解码 ...
深度学习：人脸识别Facenet_cvpr2015+MTcnn
weixin_41108334的博客
09-27 6373
  论文_2015cvpr：FaceNet: A Unified Embedding for Face Recognition and Clustering  facenet史上最全代码详解：https://blog.csdn.net/u013044310/article/details/79556099 triplet loss 代码解析：https://blog.csdn.net/u01...
MTCNN人脸检测模型
09-20
MTCNN（多任务卷积神经网络）人脸检测三个级联层pnet，rnet，onet的pb模型
mtcnn三个模型
03-19
MTCNN的三个训练好的模型，直接加载即可。det1.npy det2.npy det3.npy
深度学习-MTCNN网络结构详解
INFINALGEORGE的博客
06-03 4466
MTCNN工作原理 MTCNN是什么 MTCNN，Multi-task convolutional neural network（多任务卷积神经网络），将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。总体可分为P-Net、R-Net、和O-Net三层网络结构。 它是2016年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，该模型主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高...
MTCNN 论文解读
wenxueliu的博客
07-12 6941
预备知识 难度系数：2 颗星 缘起 所有的论文一脉相承，灵感来自于 Joint cascade face detection and alignment Improving multiview face detection with mul-ti-task deep convolutional neural networks A convolutional neural network ...
利用MTCNN和facenet实现人脸检测和人脸识别
热门推荐
AI吃大瓜的博客
12-09 5万+
利用MTCNN和facenet实现人脸检测和人脸识别 人脸检测和人脸识别技术算是目前人工智能方面应用最成熟的技术了。本博客将利用mtcnn和faceNet搭建一个实现人脸检测和人脸识别的系统。基本思路也很简单，先利用mtcnn的进行人脸检测，当然也可以使用其他的人脸检测方法，如Dilb，OpenCV，OpenFace人脸检测等等，然后再利用faceNet进行人脸识别，faceNet可简单...
手把手教学训练MTCNN模型.
疯狂的鸡窝
09-14 7501
手把手教学训练MTCNN模型0 背景介绍1.关于训练集,测试集,校验集1.1 获取数据集1.2 数据集预处理mtcnn网络结构介绍预处理过程1.3 开始训练 0 背景介绍 我在学习人脸识别时,发现虽然网络上关于人脸识别理论的文章非常的多,但涉及到如何获取训练样本,如何进行预处理,以及如何去训练,并研究训练中的主要耗时情况等问题的文章非常的零散.因此在这里我结合我自己训练的步骤重头进行汇众整理并加入...
MTCNN笔记
晓峰博客笔记
03-26 2万+
论文题目《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》MTCNN提出了一种Multi-task的人脸检测框架，将人脸检测和人脸特征点检测同时进行。论文使用3个CNN级联的方式。框架算法流程当给定一张照片的时候，将其缩放到不同尺度形成图像金字塔，以达到尺度不变。Stage 1：...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值