3.1
在这项工作中,我们提出了一种多流CNN架构,称为FaceBagNet,具有模态特征擦除(MFE)功能,用于多模式人脸防喷溅检测。 我们的方法包括两个部分,(1)基于补丁的特征学习,(2)与MFE的多流融合。 对于基于补丁的特征学习,我们使用从面部图像中随机提取的补丁来训练深度神经网络,以学习丰富的外观特征。 对于多流融合,在训练过程中会随机擦除来自不同模态的特征,然后将其融合以进行分类。 图1显示了三个流的高层次说明以及用于合并它们的融合策略。
所提出的面部防喷溅方法的体系结构。 从头开始训练融合网络,其中将RGB,深度和IR面部补丁同时馈入其中。 在训练过程中,将应用图像增强,并从子网中随机删除模态特征。
3.2 基于补丁的功能学习
欺骗特定的区分性信息存在于整个面部区域。 因此,我们可以使用补丁程序级映像来强制CNN提取此类信息。 常用的基于补丁的方法将整个脸部分成几个固定的非重叠区域。 然后,使用每个补丁来训练独立的子网。 在本文中,对于每种形态,我们在从面部提取的随机斑块上训练一个CNN。 我们使用自行设计的ResNext [26]网络提取深层功能。 该网络由五个组卷积块,全局平均池化层和softmax层组成。表格1根据网络层的层次,即内核的大小,输出特征图的数量,组跨度的数量,展示了网络体系结构。 我们的实验表明,基于补丁的功能在不同攻击之间具有高度区分性。 在实验部分,将提供比较不同大小斑块的定量结果。