读《Adaptive Weighted Graph Approach to Generate Multimodal Cancelable Biometric Templates》

摘要

生物特征数据的融合是一项艰巨的任务，降低了多模态系统对不同类型和维度的生物特征特征的就业能力。（研究难点）
此外，针对对手攻击的全面解决方案没有确保模板保护和防止演示攻击的到位。（现实意义）

本文则是基于关键图像的通用特征提取技术，降低了特征维数，实现了可撤销性。通过来自不同模式的互补信息的交叉扩散，保证了不可逆性和无关联性（unlinkability）。
提出了一种基于自适应图的特征融合方法来生成多模态可取消（cancelable）的生物特征模板。针对表示攻击的鲁棒性是通过基于质量的特征适应来实现的。
还证明了该方法对安全和隐私攻击的弹性。

1.引言

生物识别系统存储的生物特征数据不仅容易受到公共网络中的攻击，而且还容易在captive环境下引发信息披露。
生物数据这种敏感信息与密码不同，既不能再版reissued，也不能revoked撤销。

生物识别系统可分类为：（1)模板数据库泄漏和(2)表示攻击(例如，使用软糖手指、口罩、从合法用户肢解的手指）[1]。
这些漏洞可能会通过公共网络使云环境下的生物识别系统的应用失效。

为了保护生物识别数据，[2]引入了可取消的生物识别学的概念，涉及到对原始生物特征模板的有意转换，以便在转换后的域中进行注册和验证。
转换后的模板应该对对手的攻击具有健壮性，因此必须满足以下属性，（1)可撤销性、(2)不可链接性、(3)不可逆性，(4）保留性能[3]。

一般来说，可取消的生物识别方法可分为（1)生物特征盐析和(2）非可逆变换。
在生物特征盐析中，生物特征模板与（可能是随机噪声或合成模式的）人工模式混合。
不好敲定要添加的噪声的相对大小，这就不太好用盐析技术。
此外，如果人工模式被盗，可以提取原始生物特征[4]。相比之下，基于不可逆变换的可取消方法会突变原始生物特征模板，使转换模板无法反转。
而现行的大多数基于非可逆变换的可取消方法被证明为单峰生物识别系统[8]，[9]。在单峰系统中，安全性和性能之间的权衡限制了可取消方法的成功。
此外，单峰系统还存在非普遍性、数据噪声、类间变化和呈现攻击等必然问题。

[10]将可取消的生物识别技术从单峰系统扩展到多模态系统。 采用多模态系统可以补偿精度的损失，防止表示攻击[11]。
多模态方法又总要面临融合策略，分为特征级[6]、决策级[11]和分数级[12]（分数级不还是决策层那套东西？）。
特征级融合更具有鉴别性，优于评分或决策级融合[11]。然而，由于多模态的生物特征的类型和尺寸不同，特征级融合受限。

[13]-[16]通过活性检测，避免了表示攻击。然而，大多数活性检测方法并没有解决模板保护和多种模式的自适应融合。

本文是多模态生物识别的综合解决方案，不仅提供了模板的完全不可逆性，而且大大降低了特征维数。所提出的基于key的加权图融合可以适用于任何模态，无论其维数和类型如何。

2.相关

[3]，[4]有详细介绍生物识别安全隐私保护等方面的知识

[17]提出一种不可逆的变换映射表示bloom滤波器后，又会有人提出可能受到怎样怎样的攻击；提出改进思路，又会被指出是在原始域而不是转换域中进行比较，还很容易出现安全问题；最后有了生成可取消的生物识别模板的通用方法，通过对关键特征的统计分析来计算键的值，但这些都不能解决不可链接性和交叉匹配攻击[6]，[18]的问题

后来又有了随机投影的方法，其不可逆性也不是特殊，可以被进一步扩展到解决基于云端的远程生物识别身份验证场景[21]中的安全问题。
[22]实验验证，添加一定数量的噪声可以在仍然满足精度标准的同时诱导可消除的特性。通过随机比较和噪声数据生成可取消的棕榈打印模板。此外，基于哈希的方法通过利用哈希函数的特性，扩展了基于随机投影的方法。
但是，如果转换后的特性和查找表受到损害，则使用查找表会使该方法容易受到反转攻击。（就是说记录明密文映射的密码本受攻击吧）
[24,8,9]提出了一些改进方法，尽管生成了具有良好识别性能的安全模板，但该技术仅限于具有二分类特征表示的单峰生物特征系统。
因此，将这些方法适应任何类型和维度的特征，以及对抗表示攻击仍然是一个挑战。

[11]指出，多生物模态的可取消系统可以同时保护生物数据和击败表示攻击，主要是由于存在多个可鉴别的可以同时欺骗的信息来源。
但是如果比较器的特征不可知，性能就会下降。此外，软生物特征特征表现出较低的可鉴别信息。

特征级融合技术仅限于特定的模式，不能扩展到其他特征表示。因此，与其他层级的融合相比，特征层的融合潜力发挥不出来。
防止表示攻击，[13]又采用活性检测方法来解决这一问题。在[14]提出的图像质量参数中，如纹理、对比度、亮度，有助于识别伪装查询者和防止表示攻击。
[15,16]提出了一些基于质量的多模态生物特征融合识别方法，提高了互操作性。

坏东西不仅可能伪装成合法用户，还可能试图非法窃取生物识别数据。模板安全和防止表示攻击，需要两手抓

3.贡献

当前方法的局限

1. 非可逆性：大多数非可逆变换方法往往容易发生部分或完全的倒置（如[7]，[30]），这就又得到了原始的生物特征特征。
   实现完全的非可逆性又会导致模板特殊性的降低，从而降低性能。
2. 通用性：可取消的模板生成通常局限于某一类特征提取方法。例如[9]仅限于可以表示为二分类特征并具有固定长度的模式；[20]的随机投影方法仅限于具有固定长度表示为一维向量的特征。
   此外，非均匀特征表示的融合也是一项具有挑战性的任务。
3. 图像质量难题：大多数生物识别系统的性能都依赖于图像质量。图像质量差会导致特征质量低，因此识别率低。
   反而因祸得福又使得生物识别系统能够检测到呈现攻击。
   所以如果系统独立于质量，表示攻击就无法监测到，但性能水平会很不错。
4. 对对手攻击的鲁棒性：大多数可取消的生物识别方法只涉及一类对手攻击，即[9]处理模板安全，[13]通过活性检测处理表示攻击。
   无法考虑针对对手攻击的全面解决方案。

本文贡献：

1. 使用关键图像生成相似性图。可以被认为是一个通用的框架，独立于所使用的生物特征或特征提取方法。此外，生成的特征集被降维，提高速度，减少空间需求。
2. 引入了一种非线性图融合方法，融合了来自不同生物特征的互补信息。
   非线性图融合方法有多种优点。首先，捕获来自不同模式的强信息，而抑制各自弱信息。其次，非线性使融合的模板能够实现不可逆性
3. 提出了一种自适应的解决“图像质量难题”的方法。采用无参考图像质量分析来给来自不同模式的特征加权。
   这使得融合模板能够适应具有优越图像质量的特征，并抑制具有低图像质量的特征。
   通过这一点，所提出的生物识别系统可以区分“表示攻击”和“仅仅是低质量的图像”。
4. 严格分析了针对安全性和隐私问题的鲁棒性。特别是，测试了生成模板的不可逆性、不可链接性。
   还强调了应对各种攻击的鲁棒性，如假接受攻击、暴力攻击、ARM攻击和替代攻击。

4.方法

每种模态的generic通用特征提取都是通过关键图像进行的，这可以根据生物特征数据的compromise妥协而revoked被撤销。
每种模态都使用了一组n个key的图像，这些key对所有主题的所有输入和query查询图像都是通用的。
将查询图像与对应的关键图像进行关联，构造相似度图 G ( k ) ∈ { G ( p ) , G ( f ) , G ( i ) } G(k) ∈\{G(p), G( f ), G(i)\} G(k)∈{G(p),G(f),G(i)}。
此外，在单个相似性图上应用anchored锚定归一化，生成相应的归一化图， Q ( k ) ∈ { Q ( p ) 、 Q ( f ) 、 Q ( i ) } Q(k)∈\{Q(p)、Q(f)、Q(i)\} Q(k)∈{Q(p)、Q(f)、Q(i)}。这些归一化图使用自适应加权图融合(AWGF)进行融合，它不仅从不同的模态中提取互补信息，而且自适应地对应图像质量给每个模态加权。
为此，将每个模式的特征信息提取为稀疏图$S(p)、S(f)、S(i)$和秩图$R(p)、R(f)、R(i)$。这些图使用所提出的非线性图融合进行diffused扩散，以生成融合向量μ(k)∈{$\mu (p)，\mu (f)，\mu (i)$}。通过评估每个模态的质量度量，可以自适应地分配融合向量的权重{$\lambda (p)$、λ(f)、λ(i)}。加权连接得到了统一的特征向量τq，这是一种鲁棒的可取消的生物识别模板。
利用余弦相似度将生成的生物特征模板与存储的模板数据库进行比较

A.基于关键字的通用特征提取

通常多模态特征会生成具有不同类型和维度的特征，这限制了特征融合方法对某些生理特征的适用性。
为了克服这一问题，引入了一种基于关键图像的通用特征提取，它不仅降低了特征维数的通用性实现通用性，而且保证了较高的可撤销性。
在模板泄漏的情况下，可以通过改变关键顺序或为每个生物特征使用一组新的关键图像来重新生成生物特征模板。

1)图的生成：

通用性是通过建立一个查询图像与一组固定的关键图像的关联来实现的。这就导致了非线性图G(k)∈{$G(p)$、G(f)、G(i)}的构造，不管啥模态节点数量固定n
（这具体操作蛮复杂，回头再细看吧，大致就是每个模态特征提取还是各论各的滤波器生成各自的相似度图）



为了保护个体主体的隐私和系统安全，选择了一组关键图像，从而导致个体模态无法区分的通用特征。
另一方面，由于环境和评价方法的不同，不同模态的通用特征具有高度的不规则性和不均匀性。因此，对非线性图G(k)∈{$G(p)$、G(f)、G(i)}进行了归一化处理，以实现可区分的单个模态一般特征。

2)图归一化：

为了获得无偏和可区分的特征，使用锚定归一化方法将非线性图G(k)进行归一化，生成归一化的相似度图Q(k)∈{Q§、Q(f)、Q(i)}。
为此，每个非线性图G(k)使用锚点A(k)（大致还是类似于均值标准差的标准化方式）进行归一化。
为了使impostor分数[34]在一种模式中更容易区分，并将不同模式的分数扩展到相同的水平，权重转换应用于得到的归一化图Q(k)∈{Q§、Q(f)、Q(i))

B. 自适应加权图融合

可实现对表示攻击的完全非可逆性和鲁棒性。它包括：（1)信息挖掘提取互补信息和抑制异常值，(2)交叉分散以确保完全不可逆，(3）自适应统一以防止表示攻击。

1)信息挖掘：

为了从三种模式中获取互补信息，稀疏图S(k)和秩图R(k)由归一化图Q(k)构造。
稀疏图确保了对噪声和动态环境的鲁棒性，同时保留了强信息，抑制了来自每种模态的弱信息。
通过选择那些与查询图密切相关的关键图像来利用归一化图的稀疏性。
稀疏图S(k)使用k近邻(KNN)构造

根据每个关键图像与查询图像的相似性，为该图像分配排序，由查询图与归一化图中关键图像之间的边权重决定。

2)交叉扩散：

设计有效加强不同模式之间的强关系，同时抑制任何噪声或弱链接。
对通过稀疏图S(k)和秩图R(k)获得的独特信息进行了交叉扩散。稀疏图确保了异常值的去除，而秩图防止了模态的任何偏差。因此，稀疏图和秩图的交叉扩散在删除不重要信息和不错误地遗漏任何信息之间保持权衡。
可以扩展到模式的任何类型和维度。此外，来自多种模式的信息扩散使得对手更难以再生生物特征特征。

对应于每个权值图R(k)，我们得到了统一的图μ(k)。对这些通用的统一图进行了进一步的自适应统一，以获得可取消的模板。

3)质量自适应统一：

统一图μ(k)与各自模态的图像质量同时进行加权。该策略不仅提高了系统的互操作性和识别率，而且还防止了表示攻击。它还通过抑制低性能模态和同时提高高性能模态来使系统适应动态环境。
采用[35]中提出的自然图像质量评估(NIQE)技术。NIQE是一种图像质量盲分析，它使用无失真图像的先验知识来构建对自然场景统计数据(NSS)的一般理解。
偏离一般属性表明图像质量下降。首先，输入训练生物特征数据来提取统计度量，以拟合每个模态的多元高斯(MVG)模型Ft(k)。

生成的统一可取消生物识别模板不仅降维，而且不可逆。可以通过使用一组新的关键图像或更改关键图像的顺序来轻松地撤销这些模板。此外，基于质量的动态环境适应在表示攻击和低质量图像之间具有较高的可分辨性。

5.实验

A.数据集

[10]认为不同生理特征之间的相关性无法建立，所以本文制定了虚拟多生物识别数据库进行评估，这不失一般性。（也就是说对于作者找来的独立的三个单模态数据集中的个体可以随意组合，就硬说这眼这爪这脸是一个人的没关系）

B.性能指标

C.评测

实验证明自适应性、融合策略、时空复杂度方面的优势

6.隐私安全分析

A. 隐私分析

通过不可逆性、记录多重性的攻击，分析多模态生物识别系统的隐私问题，最后测试了该方法的无关联性。

1)不可逆性分析：

可取消的生物识别模板必须不可逆，以确保生物识别数据的隐私，以防生物识别系统被损害。
通过研究时空复杂度说明，所提出的生物特征可取消模板高度不可逆。

2)通过记录多样性的攻击(ARM)：

ARM攻击是对生物识别数据隐私的一种更严重的攻击，它使用多个compromised受损的（前面的妥协应该也这样翻译吧）模板实例来寻找模板和生物识别数据之间的相关性。
然而，随着所提出的生物特征融合，生物特征数据被交叉扩散并转换到另一个生物特征数据与模板之间没有直接关联的空间。
因此，高复杂度的ARM攻击无法实现，系统对该攻击具有鲁棒性。

3)不可连接性分析：

使用[47]提出的框架来评估系统的不可连接性。
如果对手能够确定地得出生成的两个模板具有相同的生物特征，那么两个模板可以说是可连接的。
不可链接性的特性是可取的，以确保更新的生物识别模板和属于同一生物识别身份的受损的生物识别模板不相关。
为了验证该系统的不连接性，构造匹配对和非匹配对。匹配的模板对是指使用不同的key为同一生物识别身份生成的生物特征模板；非配对的模板是使用不同的key为不同的生物特征身份生成的。
通过比较匹配和非匹配模板对得到的匹配分数分布用于不可连接性的定量测量。如果匹配分数分布与非匹配分数分布完全重叠，则说该系统是无关联的。

B.安全分析

与隐私攻击的区别在于，它们是通过随机猜测生物特征来非法进入系统

实验分析本文方法的可撤销性，以确保生成的模板具有对表示攻击的鲁棒性。

1)暴力攻击：

在暴力攻击中的攻击者没有关于转换过程、key或原始模板[3]的信息。在暴力攻击中，所有可能的组合都会由攻击者尝试，希望能猜出一个合法的模板。
依然通过复杂度说明其不可行

2)ARM：

也称为相关攻击[48]利用属于同一生物特征身份的多个模板实例，但使用不同的一组参数生成。使用模板的多个实例，攻击者试图确定用来重建原始的生物识别数据或模板所生成的预图像的不同参数之间的相关性。

3)错误接受攻击：

获取非法访问的一种更复杂的方法是错误接受攻击或字典攻击，其中攻击者非常精通模板生成过程。这就增加了生成合法模板[9]，[48]的几率。要执行错误接受攻击，对手将收集公开可用的数据库，并使用模板生成过程生成模板。这些伪模板用于访问系统的概率，等于错误接受率(FAR)。

更改密钥集不会对FAR产生太大影响，因此本文断言，即使对于丢失的关键场景，所提出的融合过程对于错误接受攻击也是健壮的。

4)替代攻击：

在这种攻击中，对手可以注入其生物识别数据，并将其替换为已注册的生物识别记录[49]。然而，用户可能拥有或可能不拥有关于在系统中使用的算法的知识。因此，注册的真实用户可能会见证拒绝服务。这种攻击主要关注数据库的安全性，并且在所提出的融合方法中没有出现任何漏洞。

5)可撤销性：

分析所提出的方法的可撤销性通过更改(a)key的顺序和(b)key集合来完全更新模板。

6)表示攻击：

大多数生物识别系统在理想场景下评估性能，而不考虑表示攻击的可能性。在现实场景中，对手可能会用获得的工件取代注册用户的生物识别数据，并将其呈现给生物特征捕获子系统，以恶意努力破坏它。

7.总结

未来可以通过动态阈值机制来固有地适应不同的安全需求修订融合策略。
这将使系统能够在特定于应用程序的准确性-性能权衡下运行。

此外，多生物识别系统和图像质量的结合可以研究设计一个独立的PAD模块。

此外，AWGF还可以扩展到承载多模态环境的计算机视觉的其他领域。