读《End-To-End Finger Trimodal Features Fusion and Recognition Model Based on CNN》

2021

引言

随着身份认证应用场景的逐步转移，单模态生物识别技术可能无法满足安全[2]的要求。
由于手指同时携带FP、FV和FKP，它在各种手的载体中尤为突出。手指自然地整合了生物组织内外层的生理特征，而FP、FV和FKP的特征是充分互补的[3]。

卷积神经网络(CNN)模型已广泛应用于单模态生物识别的多个子领域，如图像增强、特征提取和提高算法的鲁棒性[5-8]。
2015年，Wang等人。提出了一个基于CNN的多模态特征识别目标[9]的多模态特征框架，然后设计了一个深度学习框架来学习多模态[10]的特定特征。
张志勇等人2018年提出了一种基于RGB-D图像的人脸识别方法，该方法可以通过深度学习网络[11]学习各种互补的人脸特征。
同年，Sobhan等人。提出了一种基于cnn的多层次特征提取与融合方法，用于提取不同模式的特征，实现多层次特征[12]的融合表达。
2019年，Zhang等人。提出了一种基于图的特征提取方法，并设计了两个特征融合框架[13]。

由于采集环境和FP、FV、FKP特性的影响，手指三模态图像的大小并不一致。传统的特征融合算法通过简单的裁剪或比例归一化来调整图像的大小。用简单而粗糙的方法会破坏图像的整体结构，丢失有用的信息。

通过端到端工作模式实现特征提取、特征融合和身份识别这种工作模式优于按阶段实现的传统方法。端到端工作模式高效，能有效节约自然资源。

方法

对于在x轴和y轴上信息密度对称的二维数据，使用对称卷积核来提取特征是合理的。然而，对于信息密度不对称的数据，即信息密度偏向于一定方向的数据，使用非对称卷积核在信息密度较大的方向上提取特征更为合理。此外，利用非对称卷积核可以通过不同的池化方法和移动步骤来调整特征映射的大小。