Robust Facial Landmark Detection via a Fully-Convolutional Local-Global Context Network（CVPR2018）

Abstruct

尽管全卷积网络在识别模型局部特征方面十分成熟，但是由于他们的感受域有限，并不能整合全局上下文。我们提出了新的方法，将全局上下文直接引入全卷积神经网络，关键是网络中的隐形核心卷积网络。核心卷积模糊了局部上下文分支网络的结果，然后交由全局上下文使用扩展卷积网络进行提取。核心卷积网络之所以重要是因为它平滑了梯度变化，减小了过度拟合，这对网络聚合很关键。在后面处理的过程中，使用基于PCA的2D形状模型去适应网络产出，这样可以过滤离群值。

1.introduce

全卷积结构的优点（尤其是使用热点图递归的人脸关键点识别）

与图片分辨率无关

不依赖于合适的兴趣区

可以处理空或者多个输出

可以处理裁切不正和遮挡图像

需要更少参数，脚本占用内存更少

全卷积结构的缺点

接收域有限所以没有全局上下文信息

贡献

提出了核卷积

用扩展卷积扩大感受野

整个方法可以不适用人脸检测

方法思想：全局上下文信息可以通过接收有效域的严格增加整合到网络里。
方法实现：使用二维或简单卷积核的卷积网络，和使用扩展卷积的全局上下文分支网络

2.相关工作

2.1 模型匹配关键点检测

略

2.2 递归关键点检测

略

2.3 全卷积热点图递归关键点检测

略

3 局部-全局上下文网络

将全局上下文考虑在内，由点分布模型进行提取，并组成了额外的错误源所以更为健壮，隐式核让网络更加专注，扩展卷积网络消除了过度拟合的问题。

1 处理

图片：96*96px灰度图（调查得出，也可以没有）

3.2 网络架构

1 局部上下文，全卷积网络
2 静态定制核卷积
3 全局上下文扩展卷积网络
4 相比卷积内核标记的类方误差损失

3.2.1 局部上下文分支网络

低等级特征的局部探测
15个零填充的卷积层和一个用于抵消批次差距的线性1*1卷积

3.2.2 核卷积

局部上下文子网结果以通道方式与内核进行卷积，核卷积类似于分组卷积，每组大小为1，在训练和预测时都会被计算，并且在反向传播时对网络透明，所以不会影响局部上下文分支网络的结果。
核卷积使用原因：像素级的方差和预测与真实坐标的方差有关，全局上下文子网使用扩张卷积
要权衡准确率和离散健壮性，处理后的结果已经具有区别性。
我们使用的是45*45px的核。

3.2.3 全局子网

聚合局部上下文子网的结果，使用扩张卷积扩大有效接收域并且减少过度拟合，由于结果已经被卷积核平滑处理过，所以扩张卷积本身的在下滑线的欠采样问题也能够解决。
方法的基本原理：全局上下文子网的目的是处理大的图片而不是以像素为精度考量，它让网络去收集（矛盾）信息，然后它来统一处理这些信息，得出最合理的预测。
组成：七个 0连续填充的扩张卷积，每四个像素取样一次，3x3的核，一个1x1的线性卷积去做块归一化。

3.2.4 损失

去掉边界外的点，并据此计算每个点的权重

3.3 热点图匹配

我们使用了阈值，并将通道级的局部最大值作为真实检测，由于它偶尔会导致离群值，所以我们把输出的热点图看成是可能性图，并适应pca为基础的2d模型。
为了减小离群值的影响，我们只提取适应结果在预测点一定范围内的点。

conclusion

我们的方法是一种全卷积热点图递归算法，核心是局部上下文子网和全局上下文子网之间的隐式核卷积。局部上下文子网是为了寻找特征点，全局上下文子网再将这些特征进行提取，再用PCA模型进行后处理以恢复匹配点。