读《Graph Fusion for Finger Multimodal Biometrics》

摘要

模态图像的尺度不一致是影响有效融合的一个重要原因。因此，研究一种对多模态特征的统一表达是非常重要的。
本文提出了一种基于图的手指生物特征图像的特征提取方法。基于图结构的特征表达可以很好地解决多模态之间特征空间不匹配问题。

1.引言

生物识别允许根据一组可识别的特定数据进行识别和验证[1]。
随着精确认证的需求不断增加，仅使用单峰生物特征特征进行识别就不行了[2]。
多模态融合生物识别技术通过整合单模态特征信息，通常在普遍性、准确性和安全性[3]、[4]方面表现得更好。
但是多模态特征空间的不匹配，仍然需要探索可靠有效的手指多模态特征表达和融合识别方法[9]，[10]。

决策层融合虽然易于实现，但也存在算法依赖性强、效率低、识别性能有限等固有缺陷，更严重的忽略了多模态生物识别学的鉴别能力[17]，[18]。

现有融合策略的缺陷：

1. 模态尺度不一致仍然是影响有效融合的一个重要因素。直接的尺度归一化很容易破坏图像结构信息，无法实现稳定的特征融合。
2. 存储空间大，识别时间长。实用性是手指三模态融合识别中应该考虑的一个因素。

图结构也可以作为一种图像描述方法，可以很好地描述图像中的各种结构关系，也有广泛应用于模式识别问题[26]。

[27]采用图嵌入的方法进行三维图像聚类
一些基于图的编码操作在特征编码中得到了良好的应用，如LGS和WLGS操作符[28]，[29]。
[30]概述了最近图信号处理(GSP)中的图谱技术，特别用于图像和视频处理，包括图像压缩、图像恢复、图像滤波和图像分割。

此外，融合图特征后可接任意的分类器用于模式识别。（这就是深度表达吧，与下游任务无关的表征）

3.图的特征提取与融合框架

A. 图特征提取

B.特征融合

1)串行融合策略

把图变成向量，再把各模态的向量拼接
减小了矩阵维数，提高了计算效率（但代价是什么呢古尔丹，损失数据啊）

2)编码融合策略

基于竞争编码
在构图划分图块时就对多模态特征图进行归一化，这样得到三个相同大小的邻接矩阵（但代价是什么呢，不过这不就有难点和创新点了嘛）。然后应用竞争编码融合方法将这三个邻接矩阵组合成一个