RetinaFace: Single-stage Dense Face Localisation in the Wild

最新推荐文章于 2024-02-21 16:51:35 发布
最新推荐文章于 2024-02-21 16:51:35 发布
阅读量259 收藏
点赞数
分类专栏： 人脸识别 文章标签： 人脸检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xz1308579340/article/details/107267143
版权

作者： 帝国理工，伦敦米德尔塞克斯大学，InsightFace
paper： https://arxiv.org/pdf/1905.00641.pdf
github： https://github.com/deepinsight/insightface/tree/master/RetinaFace

1.摘要

摘要： 虽然在未受控制的人脸检测方面取得了巨大进步，但野外准确有效的面部定位仍然是一个开放的挑战。这篇文章提出了一个强大的单阶段人脸检测器，名为RetinaFace，它利用联合监督和自我监督的多任务学习，在各种人脸尺度上执行像素方面的人脸定位。具体来说，我们在以下五个方面做出了贡献：（1）我们在WIDER FACE数据集上手动注释五个面部标志，并在这个额外的监督信号的帮助下观察硬面检测的重要改进。 （2）我们进一步增加了一个自监督网格解码器分支，用于与现有的受控分支并行地预测像素三维形状的面部信息。 （3）在WIDER FACE硬测试装置上，RetinaFace的性能优于现有技术平均预测（AP）1.1％（达到AP等于91.4％）。 （4）在IJB-C测试集上，RetinaFace使最先进的方法（ArcFace）能够改善他们在面部验证中的结果（FAR = 1e-6的TAR = 89.59％）。 （5）通过采用轻量级骨干网络，RetinaFace可以在单个CPU内核上实时运行，以实现VGA分辨率的显示。

2. 人脸检测任务引言

nsight Face在2019年提出的最新人脸检测模型，原模型使用了deformable convolution和dense regression loss， 在 WiderFace 数据集上达到SOTA。截止2019年8月，原始模型尚未全部开源，目前开源的简化版是基于传统物体检测网络RetinaNet的改进版，添加了SSH网络的检测模块，提升检测精度，作者提供了三种基础网络，基于ResNet的ResNet50和ResNet152版本能提供更好的精度，以及基于mobilenet（0.25）的轻量版本mnet，检测速度更快。

与通用物体检测不同，人脸检测具有较小的比率变化。1：1到1：1.5
但是人脸的尺度变化比较大，从几个像素到几千个像素
借鉴MTCNN，加入5个人脸关键点，提升检测算法在hard部分的精度
通过自监督学习使用网格解码器分支来预测与现有监督分支并行的像素级三维人脸形状

3. 相关工作

图像金字塔or特征金字塔

一阶段or二阶段

背景建模

SSH等通过在特征图中引入上下文建模提高小人脸的检测。可变性卷积（DCN）也有助于提高精度

多目标损失

在人脸检测中加入人脸关键点的检测有助于提高box的回归精度。如果MASK RCNN增加一个分割分支一样。

4.Retinaface

4.1 多损失

在这里插入图片描述
分别是分类（focal loss），box回归（IOU loss），人脸关键点，密集的回归损失(这个不懂)

4.2

采用mesh decoder来编码连接形状和纹理信息

5.实验

采用wider face数据进行训练

根据图片的清晰质量，标注了人脸的5个关键点，有些不可见的则不标注

在这里插入图片描述

5.2 应用细节

加入了FPN
在5个金字塔特征图中加入了独立的上下文模块提高建模能力
还用可变形卷积网络(DCN)替换了横向连接和上下文模块中的所有3×3个卷积层
多正样本，采用同样的损失头和不同的特征图在计算多损失
anchor的设定：在从P2到P6的特征金字塔级别上使用特定比例的锚点
在这里插入图片描述
采用OHEM优化正负anchor不平衡的问题
因为wider face有20%的小人脸，于是在增强的时候，以图像的短边为基准，随机resize [0.3, 1]，在调整成640*640的方形块，如果人脸的中心点在方形块中，则保留这个人脸。

图像增强
因为wider face有20%的小人脸，于是在增强的时候，以图像的短边为基准，随机resize [0.3, 1]，在调整成640*640的方形块，如果人脸的中心点在方形块中，则保留这个人脸。
测试策略
翻转，多尺度，投票策略（实际应用这些都没啥用），不过竞赛的时候，这些还是很有用的。
分析
加DCN有用，0.x的提升
加上关键点分支有用， 1左右的提升
在这里插入图片描述

6.简化版mnet结构

RetinaFace的mnet本质是基于RetinaNet的结构，采用了特征金字塔的技术，实现了多尺度信息的融合，对检测小物体有重要的作用，RetinaNet的结构如下
在这里插入图片描述
简化版的mnet与RetinaNet采用了相同的proposal策略，即保留了在feature pyramid net的3层特征图每一层检测框分别proposal，生成3个不同尺度上的检测框，每个尺度上又引入了不同尺寸的anchor大小，保证可以检测到不同大小的物体。
简化版mnet与RetinaNet的区别除了在于主干网络的选择上使用了mobilenet做到了模型的轻量化，最大的区别在于检测模块的设计。mnet使用了SSH检测网络的检测模块，SSH检测模块由SSH上下文模块组成
在这里插入图片描述
上下文模块的作用是扩张预检测区域的上下文信息。上下文模块和conv结合组成了一个检测模块

7.文章的思路

为了速度，所以在一阶段的通用检测器上进行改进，而retina检测算法又是当前精度最高的。
入了上下文建模模块，DCN等小的部件
加入了人脸关键点分支，这个确实有一定作用
多损失函数的融合。
自监督方法的引入。

xz1308579340
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
densitynet-tensorflow：Tensorflow中的DenseNet实现
02-06
DenseNet-张量流 该存储库包含论文密集的tensorflow实现。 该代码基于Wu Yuxin Wu的ResNet实现（ ）开发。 引文： @inproceedings{huang2017densely, title={Densely connected convolutional networks}, author={Huang, Gao and Liu, Zhuang and van der Maaten, Laurens and Weinberger, Kilian Q }, booktitle={Proceedings of the
CNN-SLAM Real-time dense monocular SLAM with learned depth prediction
05-04
一篇slam相关论文，结合了深度学习。用CNN单帧预测深度，可以解决单目slam中尺度不确定性、纯旋转、低纹理区域等问题。
多任务合一的RetinaFace: Single-shot Multi-level Face Localisation in the Wild
胭脂草的ABC博客
02-21 46
RetinaFace将信息量不同的任务统一为图像平面内的点回归任务。实验显示这些信息层级不同的任务在训练时可以相互促进。
3D-face-reconstruction:使用直接体积CNN回归从单个图像进行3D人脸重建
05-10
3D人脸重建 结果 参考 数据集
face-recognition-keras:基于Facenet的人脸识别，并以多个网络作为后端
05-17
人脸识别喀拉拉邦 该存储库的过程包括face detection ， affine transformation ， extract face features ， find a threshold to spilt faces 。 然后在数据集上评估结果。 要求： dlib（19.10.0） keras（2.1.6） tensorflow（1.7.0） opencv-python的（3.4.0.12） 待办事项清单 InceptionV3后端 MobileNet后端 VGG16后端 ResNet50后端 Xception后端 DenseNet后端 人脸检测和仿射变换 我将Dlib和opencv用于此预处理过程 。 Dlib进行快速人脸检测，而opencv进行裁剪和仿射变换。 深度学习功能提取 我使用几种基本的深度学习模型从预处理的图像中提取128个特征。 损失就是tr
Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and App 2019.pdf
09-07
Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and Applications Ultra-Dense Networks for 5G and Beyond：Modelling, Analysis, and App.pdf (8.28 MB, 下载次数: 137 ) We are observing an ever-increasing number of connected devices and the rapid growth of bandwidth-intensive wireless applications. Te number of wirelessly connected devices is anticipated to exceed 11.5 billion by 2019, i.e. nearly 1.5 mobile devices per capita. In addition, it is expected that we will witness a 10 000-fold growth in wireless data traffic by the year 2030. Such unprecedented increases in mobile data traffic and network loads are pushing contemporary wireless network infrastructures to a breaking point. Tese predictions have raised alarm to the wireless industry and mobile network operators who are faced with the challenges of provisioning high-rate, low-delay, and highly reliable connectivity anytime and anywhere without ignificantly increasing energy consumption at the infrastructure, such as base stations, fronthaul and backhaul networks, and core networks.
【人脸检测】RetinaFace: Single-stage Dense Face Localisation in the Wild
博观约取，厚积薄发
02-09 2220
论文代码：https://github.com/deepinsight/insightface/tree/master/RetinaFace. 自然场景下精确和高效的人脸定位仍是一个挑战。该文提出了一种robust的single-stage人脸检测器：RetinaFace，它利用联合的额外监督（贡献1）和自监督多任务学习（贡献2），在不同尺度的人脸上进行像素化的人脸定位。 五个方面贡献： 在WIDER FACE数据集上手工标注了五个面部标志，并观察到在这种额外的监督信号.........
活体检测论文研读四：RetinaFace: Single-stage Dense Face Localisation in the Wild
DeepHao'Blog
02-03 1262
RetinaFace: Single-stage Dense Face Localisation in the Wild 论文简介 论文提出了一种强大的单阶段面部检测器RetinaFace，通过联合外监督（extra-supervised）和自监督（self-supervised）多任务学习的优势，在各种规模的人脸上执行像素级人脸定位，并实现了在WIDER FACE数据集上的最佳表现（SOTA） 主要贡献 ➢在WIDER FACE数据集上手动标注了五个facial landmarks，通过这种额外的辅助监
RetinaFace论文解读 --- RetinaFace: Single-stage Dense Face Localisation in the Wild
梦坠凡尘
05-26 5566
论文：https://arxiv.org/pdf/1905.00641.pdf 代码：https://github.com/deepinsight/insightface/tree/master/RetinaFace Pytorch复现：https://github.com/biubug6/Pytorch_Retinaface RetinaFace于19年5月份出现，当时取得了state-of-the-art，可以说是目前开源的最强人脸检测算法，先看效果： ...
KinectFusion: Real-Time Dense Surface Mapping and Tracking
05-08
We present a system for accurate real-time mapping of complex and arbitrary indoor scenes in variable lighting conditions, using only a moving low-cost depth camera and commodity graphics hardware. We fuse all of the depth data streamed from a Kinect sensor into a single global implicit surface model of the observed scene in real-time. The current sensor pose is simultaneously obtained by tracking the live depth frame relative to the global model using a coarse-to-fine iterative closest point (ICP) algorithm, which uses all of the observed depth data available. We demonstrate the advantages of tracking against the growing full surface model compared with frame-to-frame tracking, obtaining tracking and mapping results in constant time within room sized scenes with limited drift and high accuracy. We also show both qualitative and quantitative results relating to various aspects of our tracking and mapping system. Modelling of natural scenes, in real-time with only commodity sensor and GPU hardware, promises an exciting step forward in augmented reality (AR), in particular, it allows dense surfaces to be reconstructed in real-time, with a level of detail and robustness beyond any solution yet presented using passive computer vision.
sparse-to-dense:ICRA 2018“稀疏密密麻麻
04-30
稀疏到密集 此存储库由麻省理工学院的 和进行了深度回归神经网络的训练和测试，以用于 。 一个视频演示。 此仓库提供了中该论文的原始实现。 版本可以在找到。 此仓库可用于培训和测试 基于RGB（或灰度图像）的深度预测 基于稀疏深度的深度预测 基于RGBd（即RGB和稀疏深度）的深度预测 内容 基准 引文 要求 请参阅安装说明以获取分步指南。 在装有CUDA GPU的计算机上安装Torch 。 安装cuDNN （v4或更高版本）和Torch cuDNN绑定 如果您已经同时安装了Torch和cuDNN，请更新软件包并安装依赖项。 luarocks install nn luarocks install cunn luarocks install cudnn luarocks install optnet 安装HDF5格式库。 预处理数据集中的文件为HDF5格式。 sudo apt
chineseocr model part3-2 : ocr-dense-lstm.zip
01-13
chineseocr model part3-1， 因为最大上传不能超过1g，所以将模型分为3部分上传
retinaFace caffe 实现 python 版
10-10
retinaFace caffe pycaffe 实现retinaFace caffe pycaffe 实现
RetinaFace: Single-stage Dense Face Localisation in the Wild.pdf
03-25
Though tremendous strides have been made in uncontrolled face detection, accurate and efficient face localisation in the wild remains an open challenge. This paper presents a robust single-stage face detector, named RetinaFace, which performs pixel-wise face localisation on various scales of faces by taking advantages of joint extra-supervised and self-supervised multi-task learning. Specifically, We make contributions in the following five aspects: (1) We manually annotate five facial landmarks on the WIDER FACE dataset and observe significant improvement in hard face detection with the assistance of this extra supervision signal. (2) We further add a selfsupervised mesh decoder branch for predicting a pixel-wise 3D shape face information in parallel with the existing supervised branches. (3) On the WIDER FACE hard test set, RetinaFace outperforms the state of the art average precision (AP) by 1.1% (achieving AP equal to 91.4%). (4) On the IJB-C test set, RetinaFace enables state of the art methods (ArcFace) to improve their results in face verification (TAR=89.59% for FAR=1e-6). (5) By employing light-weight backbone networks, RetinaFace can run real-time on a single CPU core for a VGA-resolution image.
人脸识别中的全脸/半脸/中脸
博客
07-20 3192
人脸识别中的一个常用概念是全脸/中脸/半脸 下面讲一下区别 目前DeepFaceLab拥有三种不同类型的脸部模式，H64和H128是半脸(half face)模型，DF LIAEF128 Quick96是全脸(full face)模型，SAE SAEHD拥有半脸 (half face) 和中脸 (medium face) 和全脸(full face)三种模式，本篇文章就说一说这些“脸”的区别。 半脸模型： 缺点：面积较小，没有额头脸颊和下巴难于正确遮盖，若两人差别太大就难有好的效果。比如src有络腮胡，但
智慧酒店项目智能化系统汇报方案qy.pptx
最新发布
04-30
智慧酒店项目智能化系统汇报方案qy.pptx
<q-table class="col-md-12" style="margin-top: 15px" dense :pagination="pigitions" :rows="rows" :columns="columns" row-key="FORM_ID" :selected-rows-label="getSelectedString" selection="multiple" :loading="loading" v-model:selected="selected"> </q-table>
05-30
dense :pagination="pigitions" :rows="rows" :columns="columns" row-key="FORM_ID" :selected-rows-label="getSelectedString" selection="multiple" :loading="loading" v-model:selected="selected" :...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值