SonicPrint: A Generally Adoptable and Secure Fingerprint Biometrics in Smart Devices

摘要

• 虽然指纹技术是高影响应用（如智能手机、货币交易和国际边境验证）中的一种生物识别解决方案，但现有的指纹扫描仪很容易受到假手指的欺骗攻击，而且由于硬件限制无法跨智能设备（如可穿戴设备）使用。
• 我们提出SonicPrint将指纹识别扩展到智能手机以外的任何智能设备，而不需要传统的指纹扫描仪。SonicPrint基于用户在智能设备上滑动指尖时产生的指纹感应声波效应（FiSe）以及由此产生的属性，即，不同用户的指纹会导致不同的FiSe。
• 作为第一项探索性研究，31名参与者在5种不同类型的智能设备上进行了4次不同的刷卡操作，甚至是部分指纹，大量实验验证了上述特性。SonicPrint在智能手机上的识别准确率高达98%，在智能手表和耳机上的equal-error-rate（EER）低于3%。
• 我们还检查并演示了SonicPrint对指纹幻影和重放攻击的恢复能力。SonicPrint的一个关键优势是它利用了智能设备中已有的麦克风，无须修改硬件。与其他生物特征识别技术（包括生理模式和被动传感）相比，SonicPrint是一种低成本、面向隐私且安全的方法，可跨具有独特外形的智能设备识别用户。

介绍

• Gartner的一份报告描述了一个典型的家庭住宅，到2022年将容纳500个智能对象。为了保护智能环境，很明显，智能设备将继续依赖生物特征识别技术，指纹是用户机密数据的第一选择。

• 即使经过几十年的发展，现有的指纹模式仍有两个局限性。

1. 为了准确识别用户，需要通过专用的硬件扫描仪获取高分辨率指纹，这些扫描仪昂贵且麻烦。
2. 即将推出的智能设备上不一定可以嵌入下传感器。
3. 可以利用假手指来伪造指纹特征。

• 当两个物体相互滑动时，动能以声波和热量的形式释放出来。摩擦激发声波的谐波取决于物体的表面特征及其内部成分。我们的主要贡献是观察到，用户在表面上滑动指尖时产生的声波可以作为生物特征。
• 由于每个人都有一个独特的指纹，我们假设两个用户在一个共同的表面上滑动他们的指尖会产生不同的指纹诱发声波效应（FiSe）。虽然FiSe的统计特性可能会因用户的滑动速度、压力或表面的粗糙度而改变，但其固有的属性取决于表面纹理（即指纹纹路）和手指构造。
• 如果这一假设成立，FiSe可以通过智能设备进行观察，并使用内置麦克风进行测量。
• 在此基础上，我们的目标是将日常智能设备转变为指纹扫描仪。为了实现这一点，需要解决三个挑战：

1. FiSe通常是低功率的，并且淹没在动态背景噪声种。如何在不丢失任何信息的情况下获取目标FiSe？
2. 为了实现高访问性和可接受性，重要的是在滑动表面时为用户提供自由。在用户的滑动速度和压力不受控制的情况下，如何选择与指纹非常相似的特征？
3. 对于真实世界的应用程序，FiSe不能被破坏是至关重要的。如何评估依赖于指纹和音频特征的系统的脆弱性？

• 我们首先通过比较不同纹理的指纹谱来验证指纹诱导声波模式的唯一性。然后，我们利用智能手机中的底层麦克风获取FiSe，并研究一系列用于背景隔离的光谱和小波去噪方法。设计了一种自适应分割方法，以去除tap noise和其他容易被误解为目标信号的实体。之后，我们提出了一种新的分类法，强调指纹和音频域之间的语义关系，并识别基本上与指纹具有相同概念的多层次特征。
• 基于这些见解，我们设计并实现了我们的系统SonicPrint，以便于对FiSe进行安全感测以进行用户身份识别。最后，在为期两个月中，对5台智能设备上的31名参与者进行了综合评估，以验证SonicPrint在真实场景下的有效性和包容性。
• 我们在这项工作中有三点贡献：

1. 我们发现，当用户在表面上滑动指尖时，FiSe包含固有的指纹信息。
2. 我们设计并实现了SonicPrint，一种端到端的生物识别系统，可以在日常的智能设备上实现安全、可访问和用户友好的指纹感应。
3. 我们通过大量实验验证了SonicPrint的有效性和包容性，结果显示准确率高达98%。我们进行了全面的研究，以显示SonicPrint对假手指和重放攻击的恢复力。

背景和预备知识

在本节中，我们提供了摩擦激发声波的背景知识，以及其在人与物质相互作用方面的独特性背后的基本原理。我们还进行了可行性研究，以证明这一概念。

指纹感应声波效应

摩擦是由两个表面相互滑动产生的，与它们的相对运动强度无关。这种摩擦会在相互作用的介质中产生不同的波和振荡，从而向周围环境发射声波。在本文中，声波的背景不同于roughness noise，roughness noise通常是随机的。
在强接触的条件下，滑动面成为耦合系统，并产生复杂且通常为非线性的相应。先前的研究表明，物理参数，包括速度和压力，只在一定程度上影响功率谱密度的大小，而不影响整体分布。
滑动表面的粗糙度对sound pressure level（SPL）的影响如下：

$$\Delta SPL=20{\log }_{10}{\left(\frac{R_2}{R_1}\right)}^m$$

其中$R_1$和$R_2$对应于两个摩擦表面的粗糙度，$m$是表面纹理变化的经验因素。
声波的SPL在不同的摩擦pairs之间可能是相似的，因此影响它的sensing而不是uniqueness。与皮肤柔软的指尖相比，指尖粗糙的人在摩擦表面时会产生更audible的声波。更重要的是，对于不同的摩擦pair（例如，手指与金属的摩擦和手指与塑料的摩擦），声波的唯一性来自于界面特性（即纹理）和物体构成（例如，重量分布）。接触期间的表面变形非常微小，其强度与表面粗糙度无关。

假设： 当用户在任何表面上滑动指尖时，如下图，产生的摩擦激发声波取决于固有指纹团、手指的底层结构和相对材料。因为每个用户都有一个唯一的指纹，所以两个用户在同一表面上滑动的指纹应该是不同的。此外，FiSe的低SPL提供了强大的抵御欺骗攻击的能力。

可行性分析

概念验证设置：
为了验证不同指纹的FiSe的唯一性，我们进行了一项初步研究（n=3），用手指食指（干燥状态）在商品智能手机背面（铝）上直接向下滑动20次。受试者被要求在不施加巨大压力或速度的情况下自然滑动。在第二次实验中，我们用透明胶带覆盖受试者的指尖，并重复滑动操作。
在另一个实验中，我们要求两名受试者在每次实验中以逐渐增加的压力和速度重复15次。由此产生的FiSe由智能手机内置麦克风（采样率为44.1KHz）记录。为了隔离环境依赖性，本研究在环境噪音低的会议室（21℃）进行。在处理指纹诱发的声波后，我们的目标是提取特征，以提供对固有指纹的clue。

特征区分分析：
指纹的一级特征取决于其宏观细节，即，the pattern and ridge flow，可通过肉眼视觉感知。类似地，在音频领域，基于功率的时间特征突出了信号随时间的变化，而感知特征（如，音调、响度）对人类听众具有语义意义。因此，我们选择时间特征，包括temporal centroid，log attack time，harmonicity，pitch和频谱特征，包括centroid，crest，decrease，entropy，flatness，rolloffpoint和spread作为一级摩擦描述符。

为了便于比较，图3说明了归一化后描述符的平均值和标准偏差的变化。每个FiSe在图形上产生一个数据点，来自同一指纹的多个FiSe的点显示一个簇。

洞察： 我们的初步分析显示：

• 每个用户都有一个独特的指纹模式（如图3(a)中的线、拱形和螺纹模式），它在刷卡动作中生成一个独特的FiSe。
• 图3(b)证明了FiSe的显著性取决于fingerprint，而不是fingertip的整体集合形状。
• 压力和速度的变化对FiSe的可识别性影响有限。

然而，考虑到不同的滑动动态，当仅仅使用I级摩擦描述符时，决策边界可能重叠。

总结：
我们证明了FiSe依赖于底层指纹。为了提高准确性，我们继续从声波中提取适当的特征，突出显示内在指纹信息（二级和三级）。在下面的文章中，我们讨论了FiSe在智能手机安全中的应用，并提供了在实际部署之前考虑的见解。我们还将在第9节中研究其他类型的智能设备。

威胁模型

我们考虑一个攻击者，即，爱丽丝，她打算从受害者的智能手机窃取私人信息。我们假设智能手机包含一个独力的防御机制，即，SonicPrint。在实现SonicPrint的基本操作后，爱丽丝探索了现有文献中的方法，以解决指纹和音频安全问题。具体而言，我们考虑以下攻击场景：

• 指纹幻影攻击：通常，爱丽丝可以利用受害者的社交媒体，或者通过高分辨率摄像头远程捕获所需指纹。之后，可以利用指纹和整个手指几何体创建指纹模型（即，假手指）。这个假手指与受害者的活手指高度相同，可以用来欺骗系统。在整个过程中，受害者对持续的威胁一无所知。值得一提的是，传统的指纹扫描仪可以使用这种隐形攻击。
• 重放和侧通道攻击：在受害者不知情的情况下，爱丽丝在智能手机附近放置一个高灵敏度的麦克风，并在试图访问时记录FiSe。通过直接FiSe匹配或利用复杂的硬件注入诊病，并记录重放到目标设备。研究表明，这种攻击可以在五次实验中危及传统语音认证的安全性。

在我们的工作中，我们假设爱丽丝无法将录音设备放在离受害者智能手机很近的位置（即，＜20厘米）。这一假设是可行的，因为恶意硬件会在受害者的视线范围内，引起他的怀疑。此外，即使是重要的生物特征（例如，语音）在相同的场景下不适用。我们假设爱丽丝无法使用有机3D打印机创建受害者手指的生物复制品。这些打印机在经济上不可行，耗资数百万美元，并且需要先进的打印知识。
因此，SonicPrint可以利用FiSe进行安全的用户身份识别。

SonicPrint系统概述

通过分析指尖和表面相互作用引起的FiSe，SonicPrint可以揭示接收信号中与指纹相关的特征。下图显示了SonicPrint的四个主要模块：

• 背景隔离
• 摩擦事件检测
• 声音指纹的分析
• 集合分类

首先，当用户在智能手机表面滑动指尖时，内置麦克风用于捕捉FiSe。采用 杂波抑制、目标增强和环境去噪 等一系列预处理技术来获取精确的声波。一旦其摩擦事件得到验证，就可以从目标信号的特定特征中获得声音指纹的多级表示。最后，将表示输入到集成分类器，以精确识别合法用户。

FiSe的处理方案

在本节中，我们将讨论由指尖和材料组成的耦合系统中摩擦激发声波的性质。当用户在智能手机表面滑动指尖时，会产生FiSe，内置麦克风可以捕捉到FiSe，并且跨越整个频段（0-22kHz）。

预处理

由于声波的低功率，它通常被淹没在动态环境噪声中（例如，人类对话、音乐）。考虑到噪声频谱中不同且已知的频带，在单通滤波器中使用高阶截止是有效的。然而，这也消除了低频段中固有指纹信息。为了消除人类语音和音乐中的低频噪声，我们采用了截止频率为2.2kHz的高通滤波器以消除任意杂波并且恢复频率范围在2.2kHz到22kHz内的信号。

Sonic Effect 增强

虽然人生和背景杂波可以根据信息内容进行分离，但FiSe由于其低功率，可能会被视为一般噪声。
多波段谱减法（Multi-band spectral subtraction）是一种广泛使用的方法，用于增强加了噪声的目标信号，并且不会引入任何失真。假设噪声不会均匀地影响FiSe的整个频带，我们需要从每个频率单元中理想地减去适当的噪声频率。这将限制对固有指纹信息的任何过度减除。我们通过下式获得了FiSe信号的干净且增强的第i个频带：

$${\left|{\hat{S}}_i(k)\right|}^2={\left|Y_i(k)\right|}^2-{\alpha }_i{\delta }_i{\left|{\hat{D}}_i(k)\right|}^2{b}_i<k<e_i,$$

其中$Y_i$是noisy FiSe signal的功率谱，${\hat{D}}_i$是噪声的估计值，$b_i$和$e_i$是频率段的开始和结束。${\alpha }_i$是一个over-substraction因子，${\delta }_i$是根据经验为每个频带选择的参数。为了计算${\delta }_i$，我们利用预先录制在日常环境中播放人声的两秒钟音频样本作为噪声估计。我们通过下式更新over-substraction因子${\alpha }_i$：

$${\alpha }_i=c_1\cdot {\log }_{10}\left(\frac{{\sum }_{k=b_i}^{e_i}{\left|Y_i(k)\right|}^2}{{\sum }_{k=b_i}^{e_i}{\left|{\hat{D}}_i(k)\right|}^2}\right)+c_2$$

其中$c_1$，$c_2$是经验性选择的值。经过非线性功率谱减法后，从其频谱中导出增强的FiSe。然而，FiSe间隔之间仍然存在残余杂波。

去噪感知小波重构

鉴于（1）多尺度分析（2）频域和时域的最佳分辨率的优势，我们采用小波去噪来消除FiSe中的残余噪声，这些残余噪声是即使在声波效应增强后依旧存在的。
使用 最大重叠离散小波变换（maximal overlap discrete wavelet transform——MODWT）。

处理阶段前后的FiSe光谱图如下图所示。

值得一提的是，信噪比（SNR）从-3dB显著提高到了23dB。在下一小节中，我们将讨论在整体信号中定位FiSe的挑战以及我们提出的解决方案。

摩擦事件检测

考虑到FiSe是由用户在智能手机表面滑动指尖引起的，在跟踪目标在测量信号中的精确位置时有三个挑战：

• FiSe的长度因不同的滑动和不同的用户而异。通常，滑动操作的FiSe的范围在0.05秒到0.3秒之间。
• 由于人体动态的滑动行为引起了不同的SPL，传统的基于阈值的分离算法在没有优化的情况下是不合适的。
• 在刷卡动作过程中，可能会有一个initial tap sound（即手指与设备表面碰撞）或closing drag sound（即，抬起时手指滑动）包围着FiSe。由于tap和drag声音的振幅是任意的，峰值检测方法是无效的。

对此，我们专门设计了分割过程（见算法1），以解决上述挑战，并隔离每个FiSe的开始和结束阶段。

• 通过HMM模型自适应检测。
• 基于相位的检测。
• 持续时间的验证。

值得注意的是，本文提出的摩擦事件检测可适用于跨不同智能设备和表面获取FiSe，因为它不假设用户的刷卡行为。

Acoustic Fingerprint 的分类

摩擦激发声波的唯一性取决于接触表面的纹理，即，指纹。如第2.2节所示，1级摩擦描述还不够，因为它们只能与1级光学图案有关。为此，我们提出了一种新的分类方法，如下图，该方法弥补了2级和3级指纹图案与声学之间的差距，以选择FiSe分类的有效特征。

二级摩擦描述符号

在指纹领域，第二级特征涉及高尔顿特征，也称为细节点（如钩和分叉），这些特征在不同用户的指纹之间具有很高的区别，并被积极用于分类模型中。对于音频源的识别，例如梅尔倒谱系数（MFCC）等特征是必不可少的，因为它们可以捕获音色特征。其他倒谱特征通常采用感知滤波其和自回归模型来逼近包络。基于这种语义关系，对于二级摩擦描述符，我们选择14MFCC（with $\Delta$ 和 $\Delta$$\Delta$）、12个线性预测倒谱系数（LPCC）和27个感知线性预测（RASTA-PLP）。这些描述符可以深入了解指纹的细节特征。

三级摩擦描述符

二级指纹特征虽然独特，但容易被欺骗，因为它们可以通过肉眼甚至在低分辨率图像中进行视觉感知。因此，基于dimensional ridge信息，包括宽度、孔隙和边缘轮廓，提出了三级指纹特征。
类似地，短时傅里叶变换和自适应时频分解可以揭示FiSe的各种物理属性。这些特征的意义不如人类的感知，因此很难被欺骗。
为了揭示FiSe的内在指纹，我们选择了12个线性预测系数（LPC）、12个线性普频率（LSF）、26个对数滤波器组和谱统计（即，通量、峰度、偏度和斜率）作为三级摩擦描述符。此外，我们还采用了与FiSe纹理相关的16个小波交叉层系数和32x20 C1&C2振幅谱。

声波指纹识别

两个检查特征选择：
大多数特征选择方法侧重于基于分类精度寻找最小-最优子集。然而，特定模型的有限精度不足以确认某个特征是不相关的。因此，我们采用Boruta算法来确定FiSe分类的所有相关特征。
它依赖于计算效率高的随机森林分类器来迭代地丢弃不太相关的特征。我们使用两步矫正，即，Benjamini Hochberg FDR用于评估随机特征，Bonferroni矫正用于重复测试相同特征。
在我们的多级摩擦描述符上应用特征选择后，选择除了C1和C2振幅谱之外的大多数特征。最初由802个特征组成的特征向量被缩减为162个摩擦描述符，并输入到我们的分类模型中。

集成分类器： 作为首次使用FiSe进行生物特征识别的探索性研究，我们采用了以下预测模型，这些模型在用户识别方面表现出了优异的性能：

• 逻辑回归（LR）：它通过逻辑sigmoid函数对结果进行建模，以提供映射到特定类别的概率的度量。我们将最大迭代次数设置为1000次，并为多类问题设置交叉熵损失。
• 支持向量机（SVM）：它是一种具有线性核的统计学习方法，通过最大化最近点之间的边界来确定化分类的最优超平面。
• 随机森林（RF）：它在子样本上拟合特定的决策树分类器，并使用平均值来减少过度拟合。我们将估计器设置为200，并使用熵准则进行预测。
• 线性判别分析（LDA）：通过利用贝叶斯规则和近似样本的类别条件密度，它创建了一个线性决策边界来分离类别。我们选择奇异值分解作为求解器。
• 高斯混合模型（GMM）：它提供音频信号和相关特征的参数概率分布，并将高斯分量的加权和表示为密度函数。我们假设模型中有5个组件。

根据我们的实证分析，LDA最适合FiSe分类，其次是RF和SVM。因此，我们将每个分类器（LR、SVM、RF、LDA、GMM）的权重分别指定为1、2、2、3、1。最后，我们对分类器生成的观察结果进行硬投票，以确定合法用户。

评估设置

实验设置

我们进行了一项试点研究，以验证智能手机上滑动动作导致的FiSe的独特性。通过回顾基于触摸的生物识别技术的最新发展，我们观察到两种滑动动作最方便、最容易被接受，如下图所示。1手部滑动：用户自然地用右手握住他地手机，并用同一只手的食指在表面上滑动。2手部滑动：左手牢牢握住手机，另一只手则用来进行滑动。2手部的滑动对人工产品更加鲁棒性，并允许精确的笔划捕捉。为了更好地理解实验过程，我们创建了一个代码来描述执行的滑动动作。该代码由三个部分组成，即滑动感知距离表面（Swip-Sensing Distance-Surface）。轻滑可以在1手和2手之间变化；内置麦克风的感应距离在1厘米、7厘米或11厘米之间不同；表面可以是铝、玻璃或其他。

我们的先导研究的实验设置是让参与者坐在环境噪音较低的会议室的椅子上。参与者被要求在智能手机背面直接向下做出1Hand-7cm-铝制-滑动。之后，他们被要求在智能手机前面完成2Hand-1cm-玻璃滑动。为了确保所见获得的见解适用于真实世界的场景，在本文的其余部分中，手指的物理属性（即速度、压力或粗糙度）在滑动动作期间不受控制。我们使用带有0-22kHz麦克风的Google Pixel 2智能手机来记录由滑动动作引起的FiSe。尺寸为14.4厘米×6.8厘米×1.5厘米，重量仅为161.5g，重量轻，便于日常使用。它可以在搭载八核处理器的高通骁龙835上运行。记录的信号被馈送到SonicPrint进行进一步分析。

FiSe信号的采集和分类

作为首次利用FiSe进行用户识别的探索，我们在本研究中招募了31名年龄在18-50岁之间的志愿者（男25名，女6名）。所有受试者的指纹都没有受损，在涉及1Hand和2Hand刷卡的两个experiments中，每个志愿者进行6次trials。在每个trial中，志愿者连续在特定的位置滑动30下。每连续的两个trial之间间隔15分钟的时间以确保速度和压力的不均匀。

此外，每个experiments分三周进行。一次trial包括每人1分钟的record。总之，每个志愿者进行180下1Hand-7cm-铝制和180下2Hand-1cm-glass滑动行为。生成的FiSe由内置麦克风（采样率为44.1kHz）记录下来，然后馈送到SonicPrint。经过去噪和分割，总共选择了4099个1Hand滑屏（每个参与者约130次）和4405个2Hand滑屏（每个参与者约140次）进行训练和测试。

在用户识别过程中，将10倍交叉验证方法应用于归一化特征。The reason behind choosing stratified approach relates to the bias in classification models. During prediction, every instance is weighted equally, implying that a few over-represented classes can dominate the evaluation metrics.因此，分层模型确保交叉验证的每个fold代表整个数据集，从而优化偏差和方差。在第9节中，我们使用其他cross-validation和直接匹配算法来评估SonicPrint在真实场景中的包容性。

**评价指标：**我们在评估模型中引入了平衡准确率（BAC）、F-score、等错误率（EER）和接收器操作特征（ROC）曲线作为评估指标。它们对类的分布不敏感，而类的分布对身份识别方案至关重要。

SonicPrint的可用性和社会接受度

SonicPrint要求用户自然地在智能手机盖上滑动，以获得独特的FiSe。为了评估SonicPrint在现实世界中的实用性和接受度，我们对在我们的初步研究中招募的31名参与者进行了调查。在所有的31名参与者中，80%是男性，20%是女性。在完成试验后，我们向参与者询问一些关于他们使用我们系统的经验的问题。71%的人更喜欢在智能手机正面进行2Hand滑动，29%的人更喜欢在后盖进行1Hand滑动。1到10分中，所有参与者都被要求在执行多个滑动工作时对舒适性进行评分。我们记录的平均得分为9.35，验证了SonicPrint的易用性。此外，我们采用了4-point的Likert量表（从强烈反对到强烈同意）。这一规模决定了参与者在日常生活中使用SonicPrint解锁智能手机或访问受保护信息的意愿，受试者对SonicPrint的接受度很高，特别是在意识到传统指纹扫描仪的威胁的情况下。

精确度和可靠性研究

作为一项潜在的突破性技术，对SonicPrint的性能和可靠性进行评估至关重要。我们基于智能手机的试点研究包括使用FiSe进行用户识别，这两个动作是从两个动作中获得的。（1）Action1：1Hand-7cm-铝滑动；（2）Action2：2Hand-1cm-玻璃滑动。对于每个操作，我们通过增加用户执行的每个样本的滑动次数来比较评估指标。