活体识别5：论文笔记之FeatherNets

说明

这篇文章是这次比赛的第三名：ChaLearn Face Anti-spoofing Attack Detection Challenge@CVPR2019，此次比赛项目是人脸防欺诈攻击检测。

论文标题：《FeatherNets: Convolutional Neural Networks as Light as Feather
for Face Anti-spoofing》
论文地址：https://arxiv.org/pdf/1904.09290.pdf

论文内容

如下图，使用的数据集是CASIA-SURF，它由1000个受试者拍摄的21000个视频组成，每个样本包含三种模态：RGB、深度和IR。样本主要是受试者拿着自己的照片，分别将鼻子、眼睛、嘴巴等不同的区域切除下来，有的照片是平面的，有的照片是弯曲贴着脸放的。整体感觉有点单调，没有视频回放和面具的攻击方式。可能是因为加入了深度的图像原因，所以视频攻击就不考虑了。

该文作者还自制了一个数据库用以增强模型的鲁棒性和泛化性。该数据库称为MMFD，由15名受试者采集了15415张真脸照片和28438张假脸照片。除了将照片放在眼前，受试者还要戴眼睛、做表情、变换和镜头的距离等，比CASIA-SURF丰富些。

作者使用的整体方案也比较简单粗暴，先集成再级联。作者发现，使用深度图像的进行鉴别的效果已经很好了，所以第一阶段集成了多个不同的模型对深度图像的结果进行鉴定（多个模型结果求平均），得分很高和很低的直接就输出结果。得分在中间的再用IR图像进行第二阶段的分类鉴别。因为作者发现IR图像对第一阶段区分不明显的真假脸有较好的区分效果。

在第一阶段使用了6个模型（多个模型结果求平均）：FishNet150 1, FishNet150 2, MobilenetV2, FeatherNetA, FeatherNetB, ResNet GC。第二阶段鉴别IR图像使用的是FeatherNetBForIR。除了FeatherNetA/B，其它的都是别人的模型。
这个论文的很大一部分在讨论FeatherNet的结构细节。FeatherNet是作者设计的一个较轻量级的网络。如果不打比赛仅仅为了在嵌入式端部署，两个阶段应该可以都用FeatherNet。
FeatherNet分为A和B两个版本。它们都是由下面三个基础模块组成的：

其中模块A是组成网络结构的主要模块，来自MobilenetV2。模块B和模块C是降采样模块，可以将特征快速缩小。模块B是FeatherNetB的降采样模块，左侧分支的AVG灵感来自Inception，模块B右侧分支灵感来自ShuffleNet。模块C是FeatherNetA的降采样模块，它能用更少的参数和更少的计算量快速完成降采样的工作。每个下采样之后都跟一个SE-model用注意力机制来增强特征的有效信息。
下图是FeatherNetB的结构表。将表中的BlockB替换为BlockA就是FeatherNetA了。

FeatherNet非常轻量级，参数只有0.35M，计算量在80M左右。FeatherNetA因为下采样模块只有一个分支，参数比FeatherNetB还小点。

除了结构上的设计，作者还对网络结构最后的结构进行了探讨。那就是分类网络常用的全局平均池化（AVG）不适合人脸类的任务（这点其实来自Mobilefacenets）。为啥呢，你看下图：

特征的感知野的权重分布类似高斯分布，特征中间的那个蓝色特征应该比边缘的那个红色特征有更多的影响才对，将它们求平均显然不是一个好办法。所以作者设计了一个 Stresming Module放在网络的最后面，那就是用深度卷积（DWConv）将特征由7x7x64变成4x4x64,然后将所有通道展开成一维数据。后面也没跟全连接，因为这会显著增加参数量，也增加了过拟合的风险。Stresming Module后面直接用 focal loss作为损失函数。

对于用Stresming Module替换GAP，去掉末尾的全连接，甚至是BlodkB左侧分支的AP-down，作者都做了对比测试。下图中可以看到作者策略的收益。

总结

我觉得作者做了两件事，一件是通过“集成+级联”的方式拿到了比赛的好成绩，一个是设计了一个轻量级的人脸任务分类网络。这两件事不一定有特别大的关系。要是作者能把只用两个FeatherNet级联的结果写出来就更好了，这样才是一个更有针对性的论文。

作为一个开发者，我打算用作者开源的FeatherNetBForIR试试效果。毕竟我只有NIR相机，没有深度相机。

参考资料

论文地址：https://arxiv.org/pdf/1904.09290.pdf

FeatherNet开源地址：FeatherNets_Face-Anti-spoofing-Attack-Detection-Challenge-CVPR2019

CVPR2019| 人脸防伪检测挑战赛-俄初创公司夺冠,中美企业位列二三(附论文代码及参赛模型解析)

CVPR 2019 ChaLearn Face Anti-spoofing TOP3 小总结