人脸检测1 MTCNN人脸检测

最新推荐文章于 2024-09-03 14:12:24 发布
最新推荐文章于 2024-09-03 14:12:24 发布
阅读量278 收藏
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35732321/article/details/117084227
版权

MTCNN人脸检测

1 MTCNN人脸检测

MTCNN人脸检测流程（Multi-task convolutional neural network）
图像金字塔 -> Pnet -> Rnet -> Onet

1.1 图像金字塔

图像金字塔对图片按照一定的比例放缩，得到一系列图片，目的是让模型能识别到不同大小的人脸。

def calculateScales(img):
    copy_img = img.copy()
    pr_scale = 1.0
    h,w,_ = copy_img.shape
    if min(w,h)>500:
        pr_scale = 500.0/min(h,w)
        w = int(w*pr_scale)
        h = int(h*pr_scale)
    elif max(w,h)<500:
        pr_scale = 500.0/max(h,w)
        w = int(w*pr_scale)
        h = int(h*pr_scale)

    scales = []
    factor = 0.709
    factor_count = 0
    minl = min(h,w)
    while minl >= 12:
        scales.append(pr_scale*pow(factor, factor_count))
        minl *= factor
        factor_count += 1
    return scales

for scale in scales:
            hs = int(origin_h * scale)
            ws = int(origin_w * scale)
            scale_img = cv2.resize(copy_img, (ws, hs))
            inputs = scale_img.reshape(1, *scale_img.shape)

1.2 Pnet

对图片提取特征，对特征进行分类和box回归；根据分类得到的置信度筛选预测框的偏移量；对预测偏移解码；对预测得到的框通过NMS进行大部分窗口的过滤
1.2.1 建立Pnet

def create_Pnet(weight_path):
    input = Input(shape=[None, None, 3])

    x = Conv2D(10, (3, 3), strides=1, padding='valid', name='conv1')(input)
    x = PReLU(shared_axes=[1,2],name='PReLU1')(x)
    x = MaxPool2D(pool_size=2)(x)

    x = Conv2D(16, (3, 3), strides=1, padding='valid', name='conv2')(x)
    x = PReLU(shared_axes=[1,2],name='PReLU2')(x)

    x = Conv2D(32, (3, 3), strides=1, padding='valid', name='conv3')(x)
    x = PReLU(shared_axes=[1,2],name='PReLU3')(x)

    classifier = Conv2D(2, (1, 1), activation='softmax', name='conv4-1')(x)
    # 无激活函数，线性。
    bbox_regress = Conv2D(4, (1, 1), name='conv4-2')(x)

    model = Model([input], [classifier, bbox_regress])
    model.load_weights(weight_path, by_name=True)
    return model

1.2.2 对预测结果筛选

def detect_face_12net(cls_prob,roi,out_side,scale,width,height,threshold):
    cls_prob = np.swapaxes(cls_prob, 0, 1)
    roi = np.swapaxes(roi, 0, 2)

    stride = 0
    # stride略等于2
    if out_side != 1:
        stride = float(2*out_side-1)/(out_side-1)
    (x,y) = np.where(cls_prob>=threshold)

    boundingbox = np.array([x,y]).T
    # 找到对应原图的位置
    bb1 = np.fix((stride * (boundingbox) + 0 ) * scale)
    bb2 = np.fix((stride * (boundingbox) + 11) * scale)
    # plt.scatter(bb1[:,0],bb1[:,1],linewidths=1)
    # plt.scatter(bb2[:,0],bb2[:,1],linewidths=1,c='r')
    # plt.show()
    boundingbox = np.concatenate((bb1,bb2),axis = 1)
    
    dx1 = roi[0][x,y]
    dx2 = roi[1][x,y]
    dx3 = roi[2][x,y]
    dx4 = roi[3][x,y]
    score = np.array([cls_prob[x,y]]).T
    offset = np.array([dx1,dx2,dx3,dx4]).T

    boundingbox = boundingbox + offset*12.0*scale
    
    rectangles = np.concatenate((boundingbox,score),axis=1)
    rectangles = rect2square(rectangles)
    pick = []
    for i in range(len(rectangles)):
        x1 = int(max(0     ,rectangles[i][0]))
        y1 = int(max(0     ,rectangles[i][1]))
        x2 = int(min(width ,rectangles[i][2]))
        y2 = int(min(height,rectangles[i][3]))
        sc = rectangles[i][4]
        if x2>x1 and y2>y1:
            pick.append([x1,y1,x2,y2,sc])
    return NMS(pick,0.3)

1.3 Rnet

1.3.1 建立Rnet

def create_Rnet(weight_path):
    input = Input(shape=[24, 24, 3])
    # 24,24,3 -> 11,11,28
    x = Conv2D(28, (3, 3), strides=1, padding='valid', name='conv1')(input)
    x = PReLU(shared_axes=[1, 2], name='prelu1')(x)
    x = MaxPool2D(pool_size=3,strides=2, padding='same')(x)

    # 11,11,28 -> 4,4,48
    x = Conv2D(48, (3, 3), strides=1, padding='valid', name='conv2')(x)
    x = PReLU(shared_axes=[1, 2], name='prelu2')(x)
    x = MaxPool2D(pool_size=3, strides=2)(x)

    # 4,4,48 -> 3,3,64
    x = Conv2D(64, (2, 2), strides=1, padding='valid', name='conv3')(x)
    x = PReLU(shared_axes=[1, 2], name='prelu3')(x)
    # 3,3,64 -> 64,3,3
    x = Permute((3, 2, 1))(x)
    x = Flatten()(x)
    # 576 -> 128
    x = Dense(128, name='conv4')(x)
    x = PReLU( name='prelu4')(x)
    # 128 -> 2 128 -> 4
    classifier = Dense(2, activation='softmax', name='conv5-1')(x)
    bbox_regress = Dense(4, name='conv5-2')(x)
    model = Model([input], [classifier, bbox_regress])
    model.load_weights(weight_path, by_name=True)
    return model

1.3.2 Rnet解码


def filter_face_24net(cls_prob,roi,rectangles,width,height,threshold):
    
    prob = cls_prob[:,1]
    pick = np.where(prob>=threshold)
    rectangles = np.array(rectangles)

    x1  = rectangles[pick,0]
    y1  = rectangles[pick,1]
    x2  = rectangles[pick,2]
    y2  = rectangles[pick,3]
    
    sc  = np.array([prob[pick]]).T

    dx1 = roi[pick,0]
    dx2 = roi[pick,1]
    dx3 = roi[pick,2]
    dx4 = roi[pick,3]

    w   = x2-x1
    h   = y2-y1

    x1  = np.array([(x1+dx1*w)[0]]).T
    y1  = np.array([(y1+dx2*h)[0]]).T
    x2  = np.array([(x2+dx3*w)[0]]).T
    y2  = np.array([(y2+dx4*h)[0]]).T

    rectangles = np.concatenate((x1,y1,x2,y2,sc),axis=1)
    rectangles = rect2square(rectangles)
    pick = []
    for i in range(len(rectangles)):
        x1 = int(max(0     ,rectangles[i][0]))
        y1 = int(max(0     ,rectangles[i][1]))
        x2 = int(min(width ,rectangles[i][2]))
        y2 = int(min(height,rectangles[i][3]))
        sc = rectangles[i][4]
        if x2>x1 and y2>y1:
            pick.append([x1,y1,x2,y2,sc])
    return NMS(pick,0.3)
#--------------------------------

1.4 Onet

同上，这一步增加人脸关键点预测，且不需要抠图，直接输出结果。
1.4.1 建立Onet

def create_Onet(weight_path):
    input = Input(shape = [48,48,3])
    # 48,48,3 -> 23,23,32
    x = Conv2D(32, (3, 3), strides=1, padding='valid', name='conv1')(input)
    x = PReLU(shared_axes=[1,2],name='prelu1')(x)
    x = MaxPool2D(pool_size=3, strides=2, padding='same')(x)
    # 23,23,32 -> 10,10,64
    x = Conv2D(64, (3, 3), strides=1, padding='valid', name='conv2')(x)
    x = PReLU(shared_axes=[1,2],name='prelu2')(x)
    x = MaxPool2D(pool_size=3, strides=2)(x)
    # 8,8,64 -> 4,4,64
    x = Conv2D(64, (3, 3), strides=1, padding='valid', name='conv3')(x)
    x = PReLU(shared_axes=[1,2],name='prelu3')(x)
    x = MaxPool2D(pool_size=2)(x)
    # 4,4,64 -> 3,3,128
    x = Conv2D(128, (2, 2), strides=1, padding='valid', name='conv4')(x)
    x = PReLU(shared_axes=[1,2],name='prelu4')(x)
    # 3,3,128 -> 128,12,12
    x = Permute((3,2,1))(x)

    # 1152 -> 256
    x = Flatten()(x)
    x = Dense(256, name='conv5') (x)
    x = PReLU(name='prelu5')(x)

    # 鉴别
    # 256 -> 2 256 -> 4 256 -> 10 
    classifier = Dense(2, activation='softmax',name='conv6-1')(x)
    bbox_regress = Dense(4,name='conv6-2')(x)
    landmark_regress = Dense(10,name='conv6-3')(x)

    model = Model([input], [classifier, bbox_regress, landmark_regress])
    model.load_weights(weight_path, by_name=True)

    return model

1.4.2 Onet解码

def filter_face_48net(cls_prob,roi,pts,rectangles,width,height,threshold):
    
    prob = cls_prob[:,1]
    pick = np.where(prob>=threshold)
    rectangles = np.array(rectangles)

    x1  = rectangles[pick,0]
    y1  = rectangles[pick,1]
    x2  = rectangles[pick,2]
    y2  = rectangles[pick,3]

    sc  = np.array([prob[pick]]).T

    dx1 = roi[pick,0]
    dx2 = roi[pick,1]
    dx3 = roi[pick,2]
    dx4 = roi[pick,3]

    w   = x2-x1
    h   = y2-y1

    pts0= np.array([(w*pts[pick,0]+x1)[0]]).T
    pts1= np.array([(h*pts[pick,5]+y1)[0]]).T
    pts2= np.array([(w*pts[pick,1]+x1)[0]]).T
    pts3= np.array([(h*pts[pick,6]+y1)[0]]).T
    pts4= np.array([(w*pts[pick,2]+x1)[0]]).T
    pts5= np.array([(h*pts[pick,7]+y1)[0]]).T
    pts6= np.array([(w*pts[pick,3]+x1)[0]]).T
    pts7= np.array([(h*pts[pick,8]+y1)[0]]).T
    pts8= np.array([(w*pts[pick,4]+x1)[0]]).T
    pts9= np.array([(h*pts[pick,9]+y1)[0]]).T

    x1  = np.array([(x1+dx1*w)[0]]).T
    y1  = np.array([(y1+dx2*h)[0]]).T
    x2  = np.array([(x2+dx3*w)[0]]).T
    y2  = np.array([(y2+dx4*h)[0]]).T

    rectangles=np.concatenate((x1,y1,x2,y2,sc,pts0,pts1,pts2,pts3,pts4,pts5,pts6,pts7,pts8,pts9),axis=1)

    pick = []
    for i in range(len(rectangles)):
        x1 = int(max(0     ,rectangles[i][0]))
        y1 = int(max(0     ,rectangles[i][1]))
        x2 = int(min(width ,rectangles[i][2]))
        y2 = int(min(height,rectangles[i][3]))
        if x2>x1 and y2>y1:
            pick.append([x1,y1,x2,y2,rectangles[i][4],
                 rectangles[i][5],rectangles[i][6],rectangles[i][7],rectangles[i][8],rectangles[i][9],rectangles[i][10],rectangles[i][11],rectangles[i][12],rectangles[i][13],rectangles[i][14]])
    return NMS(pick,0.3)
山居秋暝LS
关注
专栏目录
人脸检测：MTCNN
flyingzhao
11-19 5万+
《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》论文解读。本文来自于中国科学院深圳先进技术研究院，目前发表在arXiv上，是2016年4月份的文章，算是比较新的文章。 论文地址： https://kpzhang93.github.io/MTCNN_face_detectio
Mtcnn人脸检测实践
Dapan同学
02-21 9276
放寒假了，闲来无事就开始捣鼓人脸识别了。这次看了一篇2016年的论文，算是比较新的了。论文提到一种名为“基于多任务级联卷积神经网络进行人脸检测和对齐”的算法，英文名 Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks，简称MtCNN。论文地址如下： MTCNN_face_detec...
深度学习——基于MTCNN算法实现人脸侦测
最新发布
swpucwf的博客
09-03 2329
这里写目录标题先看效果MTCNN主体思想级联网络图像金字塔IOU算法iou 公式nms 算法数据代码训练代码侦测代码总结 先看效果 MTCNN 从2016年，MTCNN算法出来之后，属实在工业上火了一把，最近尝试着把论文代码复现了一下。 主体思想 级联网络 ** 这篇论文属于一篇多任务级联卷积神经网络，如图，利用P、R、O 三个网络来进行检测。 算法步骤： 将传入p网络中，预选一些框，生成特征图 将p网络中的预选框传入R网络中进行进一步筛选 将R网络中的预选框传入O网络中进行进一步筛选 O网络进行
MTCNN人脸检测
imxlw00的专栏
08-30 467
MTCNN可实现两个任务——人脸检测与人脸关键点检测。 MTCNN已经集成到了python的库中。 安装 注意：安装前需要确认以下依赖： python >= 3.4 opencv >= 4.1 Keras>=2.0.0 pip install mtcnn 人脸检测 from mtcnn import MTCNN import cv2 img=cv2.imread("../datas/face/ldh2.jpg") img = cv2.cvtColor(img, cv2.COLOR_BG
facenet-pytorch:预训练的Pytorch人脸检测（MTCNN）和识别（InceptionResnet）模型
05-13
此回购中还包括用于推理之前的人脸检测的MTCNN的有效pytorch实现。 这些模型也经过预训练。 据我们所知，这是最快的MTCNN实现。 目录 视频流中的人脸跟踪 使用新数据微调预训练模型 Facenet-PyTorch中的MTCNN指南 ...
MTCNNv1_人脸检测_MTCNN_face_detection_
10-01
在人脸检测和特征点定位的任务上，这篇文章提出的方法比现有最先进的技术有明显的额提升，而且具有实时处理的性能。在这篇文章中，提出了一个深度卷积多任务的框架，这个框架利用了检测和对准之间固有的关系来增强...
预训练的Pytorch人脸检测（MTCNN）和识别（InceptionResnet）模型-Python开发
05-25
使用Pytorch Python 3.7 3.6 3.5状态的人脸识别这是pytorch中Inception Resnet（V1）模型...此回购中还包括用于推理之前的人脸检测的MTCNN的有效pytorch实现。 这些模型也经过预训练。 据我们所知，这是最快的MTCNN实现
人脸检测之MTCNN以及NTCNN实现
08-15
本压缩包中包含的“MTCNN”（Multi-Task Cascaded Convolutional Networks）和“NTCNN”（NVIDIA Tensor Cores CNN）是两种高效的人脸检测算法，它们在准确性和速度上都表现出色。 MTCNN是由Zhang et al.于2016年...
基于MTCNN+arcface的人脸检测识别(pytorch)
04-20
98%高识别率，解压就能用，有疑问请留言，提供答疑，保证使用！！！！！ 使用简要解析https://blog.csdn.net/weixin_46611502/article/details/124318670
mtcnn人脸检测算法介绍
牧羊女
01-05 9537
0. 概述 MTCNN(Multi-task Cascaded Convolutional Networks，多任务卷积神经网络)，是2016年由Kaipeng Zhang、Zhanpeng Zhang等提出的一种多任务人脸检测模型，该模型使用3个CNN级联算法结构，将人脸检测和人脸特征点提取同时完成。 原论文中被引用了无数次的算法示意图如下： 由上图可知，MTCNN整个流程结构中，首先会按照不同的缩放因子(resize_factor)，将图像缩放成不同大小的size，形成图像的特征金字塔。接下.
人脸检测算法理解之mtcnn
为之则易，不为则难
12-30 3547
最近在一次交流活动中，再次听别人讲人脸检测算法mtcnn，虽然以前也断断续续听过两次，对于一些技术细节仍不清楚，为了解决自己的困惑，笔者又重拾起这一算法，在认真研读论文和思考后有了新的理解，于是记录下来。下文主要解释mtcnn中min_face_size这个参数是怎么起作用的、如何使用图像金字塔等，希望能对大家有所帮忙。 1 相关知识点 1.1 “network in network” 作为新加坡...
MTCNN人脸检测算法实现（python）
weixin_40280870的博客
06-25 3115
MTCNN 是多任务级联 CNN 的人脸检测深度学习模型，该模型不仅考虑了人脸检测概率，还综合训练了人脸边框回归和面部关键点检测，多任务同时建立 loss function 并训练，因此为 MTCNN。级联 CNN 主要由三个子网络组成：P-Net、R-Net 和 O-Net。博主通过PyQt5开发一个可视化的MTCNN人脸检测器，深度学习框架采用PyTorch。
基于MTCNN的实时人脸检测方法及系统
毕业作品网站
09-26 1087
图4-1描述了整个人脸检测系统的框架设计，包括数据源、人脸检测、结果呈现三个模块，用户通过GUI界面进行交互。深度学习(Deep Learning)是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。三是基于人脸检测实现的定制人脸检测系统。另一方面是, 在Python上开发构建出一个人脸检测系统，实现对图片或视频中人脸进行实时人脸检测，并显示人脸置信度。系统的GUI设计采用Tkinter实现，主要分为两部分，一部分是图片检测模式，通过上传本地图片完成检测。3.1.3 面部地标定位 7。
MTCNN——基于级联模型的人脸关键点检测网络
墨门
11-15 702
1 致谢 感谢网友任尔hz的帮助， 原文链接如下： https://blog.csdn.net/qq_36782182/article/details/83624357 2 前言 今天在学习MTCNN，这个网络是张老师在人脸识别于检测课程上跟我讲的，但是我感觉讲的还是不是很清楚，还需要继续学习一下～ 论文地址： https://ieeexplore.ieee.org/document...
人脸识别系列三 | MTCNN算法详解上篇
I good vegetable a!
11-19 3737
前言 我们前面分享了PCA,Fisher Face,LBPH三种传统的人脸识别算法，Dlib人脸检测算法。今天我们开始分享一下MTCNN算法，这个算法可以将人脸检测和特征点检测结合起来，并且MTCNN的级联结构对现代的人脸识别也产生了很大的影响。上篇为大家介绍MTCNN的算法原理和训练技巧，下篇为大家解析MTCNN算法的代码和进行demo演示。论文地址为：https://arxiv.org/ftp...
人脸关键点检测算法--MTCNN
emma1222的博客
05-29 6294
本文是对MTCNN进行人脸关键点检测和对齐的原理的描述，具体代码请见：https://github.com/Emma0118/preprocessing-images-for-Face-Recognition 一、概述 MTCNN(Multi-task Cascaded Convolutional Networks)是 一种多任务级联卷积神经网络，用以同时处理人脸检测和人脸关键点定位问题。作者...
人脸识别 损失函数 centerloss arcfaceloss pytorch实现
不佛的博客
10-16 3417
Softmax loss
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值