[论文笔记] RetinaFace 阅读笔记

RetinaFace: Single-stage Dense Face Localisation in the Wild（CVPR 2020）

论文链接：论文链接
代码链接：代码链接以及原链接挂了

• 之前看了一篇ASFD，也取得了SOTA，但是没有开源；因此目前最强开源人脸检测算法就是RetinaFace。（不知道MogFace算不算更强的）
• 后续的人脸检测可能就从RetinaFace上面魔改了

摘要

• 主要贡献总结为以下5点：
  • 在 WIDER FACE 数据集上手动标注额外5个面部标志
  • 添加一个自监督网格解码器分支，用于与现在的监督分支并行预测像素级3D形状人脸信息
  • 在 WIDER FACE hard测试集上，RetinaFace 比最先进的平均精度 (AP) 高出 1.1%（实现 AP 等于 91.4%）
  • 在IJB-C测试集上，RetinaFace使最先进的方法（ArcFace）提高了人脸检测的结果（TAR=89.59%，FAR=1e-6）
  • 通过采用轻量级骨干网络，RetinaFace可以在单个CPU核心上实时运行VGA分辨率的图像

动机

• 改进了单阶段人脸检测框架，并通过利用强监督和自监督信号的multi-task loss，提出了一种最先进的密集人脸定位方法

解决方案

Multi-task Loss（多任务损失）

• 对于每一个训练样本 anchor $i$ ，将一下多任务损失最小化
  $$L=L_{cls}(p_i,p_i^{\ast })+{\lambda }_1{p}_i^{\ast }{L}_{box}(t_i,t_i^{\ast })+{\lambda }_2{p}_i^{\ast }{L}_{pts}(l_i,l_i^{\ast })+{\lambda }_3{p}_i^{\ast }{L}_{pixel}$$
  损失平衡参数 ${\lambda }_1-{\lambda }_3$ 设置为 0.25、0.1 和 0.01，这意味着我们增加了监督信号中 较好的box和landmark 的重要性
  • 面部分类损失 $L_{cls}(p_i,p_i^{\ast })$。其中 $p_i$ 为anchor $i$ 是人脸的预测概率，$p_i^{\ast }$ 对于正 anchor 是1，对于负 anchor 是0。分类损失 $L_{cls}$是二元类（人脸/非人脸）的softmax损失
  • 人脸bbox回归损失 $L_{box}(t_i,t_i^{\ast })$。其中 $t_i={t_x,t_y,t_w,t_h}_i$ 和 $t_i^{\ast }={t_x^{\ast },t_y^{\ast },t_w^{\ast },t_h^{\ast }}_i$ 代表预测的bbox坐标和与正样本相关的gt bbox
  • 面部landmark回归损失 $L_{pts}(l_i,l_i^{\ast })$。其中 l i = { l x 1 , l y 1 , . . . , l x 5 , l y 5 } i l_i = \{l_{x1},l_{y1},...,l_{x5},l_{y5}\}_i li​={lx1​,ly1​,...,lx5​,ly5​}i​ 和 l i ∗ = { l x 1 ∗ , l y 1 ∗ , . . . , l x 5 ∗ , l y 5 ∗ } i l^∗_i = \{l^∗_{x1},l^∗_{y1},...,l^∗_{ x5},l^∗_{y5}\}_i li∗​={lx1∗​,ly1∗​,...,lx5∗​,ly5∗​}i​ 表示预测的五个面部landmarks和与gt bbox的5个landmarks。与bbox回归类似，五人脸landmarks回归也采用了基于anchor中心的目标归一化
  • 密集回归损失 $L_{pixel}=\frac{1}{W\ast H}{\sum }_i^W{\sum }_j^H\parallel \mathcal{R}({\mathcal{D}}_{P_{st}},P_{cam},P_{ill}{)}_{i,j}-I_{i,j}^{\ast }{\parallel }_1$，其中$W,H$表示anchor crop $I_{i,j}^{\ast }$的宽和高

Dense Regression Branch（密集回归分支）

Mesh Decoder（网格解码器）

• 我们定义彩色面网格 $\mathcal{G}=(\mathcal{V},\mathcal{E})$，其中 $\mathcal{V}\in {\mathbb{R}}^{n\times 6}$是包含脸部形状和纹理等信息的顶点集， E ∈ { 0 , 1 } n × n \mathcal E\in\{0,1\}^{n×n} E∈{0,1}n×n是一个稀疏的邻接矩阵，用来编码顶点之间的连接关系。图拉普拉斯定义为 $L=D-\mathcal{E}\in R^{n\times n}$，其中 $D\in {\mathbb{R}}^{n\times n}$是一个对角矩阵，$D_{ii}={\sum }_j{\mathcal{E}}_{ij}$
• 核为 $g_{\theta }$ 的图卷积可以被表述为一个 $K$ 阶截断的递归切比雪夫多项式
  $$y=g_{\theta }(L)x=\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{L})x$$其中 $\theta \in {\mathbb{R}}^K$ 是切比雪夫系数的向量，$T_k(\tilde{L})\in {\mathbb{R}}^{n\times n}$ 是在标度拉普拉斯算子$\tilde{L}$ 处评估的 $k$ 阶切比雪夫多项式。表示 $x_k=T_k(\tilde{L})x\in Rn$，我们可以循环计算 ${\bar{x}}_k=2\tilde{L}{\bar{x}}_{k-1}-{\bar{x}}_{k-2}$，其中 ${\bar{x}}_0=x$ 和 ${\bar{x}}_1=\tilde{L}x$。整个滤波操作非常有效，包括 $K$ 次稀疏矩阵向量乘法和一次密集矩阵向量乘法 $y=g_{\theta }(L)x=[{\bar{x}}_0,...,{\bar{x}}_{K-1}]\theta$

Differentiable Renderer（可微分渲染器）

• 在预测形状和纹理参数 $P_{ST}\in {\mathbb{R}}^{128}$ 之后，使用可微分 3D 网格渲染器将彩色网格 $D_{P_{ST}}$ 投影到具有camera参数 $P_{cam}=[x_c,y_c,z_c,x_c^{\prime },y_c^{\prime },z_c^{\prime },f_c]$的 2D 图像平面（即相机位置、相机姿态和焦距）和照明参数 $P_{ill}=[x_l,y_l,z_l,r_l,g_l,b_l,r_a,g_a,b_a]$（即位置点光源的颜色值和环境照明的颜色）

Dense Regression Loss（密集回归损失）

• $L_{pixel}=\frac{1}{W\ast H}{\sum }_i^W{\sum }_j^H\parallel \mathcal{R}({\mathcal{D}}_{P_{st}},P_{cam},P_{ill}{)}_{i,j}-I_{i,j}^{\ast }{\parallel }_1$，其中$W,H$表示anchor crop $I_{i,j}^{\ast }$的宽和高

数据集额外标注

网络结构、实验结果

• Anchor设置：在从 $P_2-P_6$ 的特征金字塔上使用特定尺度的anchor。输入图像大小为 640×640，anchors 可以覆盖特征金字塔级别上从 16×16 到 406×406 的尺度。总共有 102300 个anchor，其中 75% 的 anchor 来自 $P_2$
  
• 消融实验：其中DCN表示可变形卷积
  
• 人脸box准确率：
  
  
• 面部5个landmark的准确率：NME表示normalised mean errors，CED表示 cumulative error distributio
  
• 面部 稠密landmark 的准确率：
  
• 面部识别准确率：
  
  
• 推理效率：