关闭

人脸检测——MTCNN

37006人阅读 评论(25) 收藏 举报
分类:

本次介绍一篇速度还不错的人脸检测文章:

《2016 Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》.

源代码作者刚刚公布,效果相当不错(只有测试代码):
https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html?from=timeline&isappinstalled=1

另外一位同学实现的MTCNN基于MXNET的训练代码,工作比较完整,参考价值比较大: https://github.com/Seanlinx/mtcnn

—————— Pipeline——————

JDA Pipeline

上面是该方法的流程图,可以看出也是三阶级联,和我之前的一篇博文CascadeCNN很像。

stage1: 在构建图像金字塔的基础上,利用fully convolutional network来进行检测,同时利用boundingbox regression 和 NMS来进行修正。(注意:这里的全卷积网络与R-CNN里面带反卷积的网络是不一样的,这里只是指只有卷积层,可以接受任意尺寸的输入,靠网络stride来自动完成滑窗)

stage2: 将通过stage1的所有窗口输入作进一步判断,同时也要做boundingbox regression 和 NMS。

stage3: 和stage2相似,只不过增加了更强的约束:5个人脸关键点。

————— Network —————

Stage1: Proposal Net

JDA Network1

Stage2: Refine Net

JDA Network2

Stage3: Output Net

JDA Network3

由上可以看出,其网络结构较CascadeCNN略深但每层参数较少,所以该方法性能较好同时速度和CascadeCNN也相差无几。

补充:

(1) 文中训练使用了Online Hard sample mining策略,即在一个batch中只选择loss占前70%的样本进行BP;

(2) 不同阶段,classifier、boundingbox regression 和 landmarks detection在计算Loss时的权重是不一样的;

(3) 训练数据共4类,比例3:1:1:2,分别是negative,IOU<0.3; positive,IOU>0.65; part face,0.4

—————— Result ——————

在FDDB上的表现:

JDA Network3

速度表现,CPU约15FPS

JDA Network3

10
2
查看评论

MTCNN(Multi-task convolutional neural networks)人脸对齐

该MTCNN算法出自深圳先进技术研究院,乔宇老师组,是今年2016的ECCV。(至少我知道的今年已经一篇cvpr,一篇eccv了)。   进入正题 理论基础: 正如上
  • qq_14845119
  • qq_14845119
  • 2016-09-27 15:23
  • 27379

人脸检测:MTCNN

《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》论文解读。本文来自于中国科学院深圳先进技术研究院,目前发表在arXiv上,是2016年4月份的文章,算是比较新的文章。 论文地址...
  • tinyzhao
  • tinyzhao
  • 2016-11-19 23:01
  • 14736

人脸检测——MTCNN

本次介绍一篇速度还不错的人脸检测文章:《2016 Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》. ———————————— Pipeline———————————— 上面是该方...
  • shuzfan
  • shuzfan
  • 2016-09-26 11:56
  • 37006

MTCNN-将多任务级联卷积神经网络用于人脸检测和对齐

论文链接:  https://kpzhang93.github.io/MTCNN_face_detection_alignment/,本文是根据自己的理解翻译的如有错误,还请见谅,评论提出,立马修改。 摘要:由于姿势、光照或遮挡等原因,在非强迫环境下的人脸识别和对齐是一项具有挑战性的问题。最近的...
  • lff1208
  • lff1208
  • 2017-08-17 14:40
  • 1943

基于MTCNN的人脸自动对齐技术原理及其Tensorflow实现测试

人脸识别是计算机视觉研究领域的一个热点。而人脸识别包含了诸多步骤,下图所示(摘自http://www.techshino.com/upfiles/images/%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB%E6%8A%80%E6%9C%AF%E6%B5%81%E7%A8%...
  • sparkexpert
  • sparkexpert
  • 2017-06-28 17:16
  • 3958

Windows下cmake编译caffe,实现纯C++版本MTCNN人脸检测和关键点定位

2017.5.28 发现 caffe官方windows版本已经不提供vs工程文件了,需要用cmake编译生成sln文件。详细编译调试过程如下:   一、开发环境要求:         Windows 7/10,64位系统,Visual St...
  • XZZPPP
  • XZZPPP
  • 2017-06-14 11:06
  • 4709

MTCNN训练整理

MTCNN主要包括三个部分,PNet,RNet,ONet 其中PNet在训练阶段的输入尺寸为12*12,RNet的输入尺寸为24*24, ONet的输入尺寸为48*48.  PNet网络参数最小,ceffemodel仅有28.2KB, 所以速度最快.RNet的网络参数...
  • AMDS123
  • AMDS123
  • 2017-04-07 16:11
  • 14645

人脸检测——MTCNN

本次介绍一篇速度还不错的人脸检测文章: 《2016 Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》. 源代码作者刚刚公布,效果相当不错(只有测试代码):  http...
  • u014696921
  • u014696921
  • 2017-03-23 17:25
  • 4645

MTCNN(Multi-task convolutional neural networks)人脸对齐

该MTCNN算法出自深圳先进技术研究院,乔宇老师组,是今年2016的ECCV。(至少我知道的今年已经一篇cvpr,一篇eccv了)。     进入正题 理论基础: 正如上图所示,该MTCNN由3个网络结构组成(P-Net,R-Ne...
  • oppo62258801
  • oppo62258801
  • 2017-03-24 19:56
  • 2404

MTCNN算法

该MTCNN算法出自深圳先进技术研究院,乔宇老师组,是今年2016的ECCV。 采用级联的卷积神经网络进行人脸五官特征点检测,其流程如下图所示。 图6级联卷积神经网络流程图 首先,将给定的图片缩放到不同尺度,形成图像金字塔,以达到尺度不变。通过上述流程图可知,该模型有三个步骤组...
  • lff1208
  • lff1208
  • 2017-08-16 14:33
  • 781
    个人资料
    • 访问:649599次
    • 积分:6838
    • 等级:
    • 排名:第4069名
    • 原创:135篇
    • 转载:11篇
    • 译文:1篇
    • 评论:523条