【人脸关键点检测论文解读】Facial landmarks localization using cascaded neural networks

论文链接
论文中提到的一些知识点：
1、反向传播
2、CED : NME和数据集比例曲线，衡量在NME达到一定错误率时，已经覆盖的数据集比例，模型的鲁棒性指标
3、AUC(area under the curve)是ROC曲线下的面积

这篇论文是2021年发表在计算机视觉和图像理解（CVIU）上面的

所提出的级联 CNN (CCNN) 利用了两个成对的级联子网络：热图子网络 (CHCNN) 估计与面部标志对应的粗略但稳健的热图，而级联回归子网络 (CRCNN) 通过回归改进 CHCNN 生成的标志的准确性. 两个级联子网络对齐，以便每个 CHCNN 单元的输出用作相应 CRCNN 单元的输入。这允许对定位点进行迭代细化。CCNN 是一种完全由数据驱动且可端到端训练的人脸定位方案。它扩展了之前基于热图的本地化结果（Belagiannis 和 Zisserman，2017 年），实验证明它对头部姿势的大变化具有鲁棒性。此外，当使用最先进的人脸对齐数据集进行评估时，它与当代人脸定位方案相比具有优势。所提出的 CCNN 方案不利用人脸的任何特定外观属性，并且可以应用于其他类别对象的定位。

这是CCNN的整体框架图

其他方法显示出对所考虑场景的显着依赖性，在正面人脸图像（例如 HELEN 和 LFPW 数据集中的图像）上表现良好，但在具有挑战性的条件下（例如 300-W私有数据集）往往会失败

绿点的大小根据估计地标的误差而增加。当误差超过20像素时，一条线将真实值和估计的地标连接起来。当误差大于30像素时，关键点将被绘制成蓝色。

为什么所提出的方案可能导致错误估计？
出现失真（2、8）、局部遮挡有问题（5、13）、灰度图像（15）、存在多个人脸图像（1、12、14 和 16）、缺失边缘（3、11）、几个地标点落在狭窄区域（4、6、7、9、10 和 17）

当使用两个单元而不是单个单元时，可以获得最显着的改进，额外的级联提供相对较小的增益。