【论文阅读】A Keylogging Inference Attack on Air-Tapping Keyboards in Virtual Environments

1.介绍

本文提出并评估了一种利用手跟踪信息对空中敲击输入输入方法的键盘记录推理攻击。我们的攻击利用了这样一个事实，即手在点击按键时遵循特定的图案来实现按键检测。通过在时间和空间上定位击键，并将任务解释为一个时间定位问题，我们严格地探索从关键点进行可能的键盘重建，并探索以实现最佳到最坏的重建顺序。我们的方法避免了任何对键盘的位置和大小的假设，以考虑到用户在虚拟对象的放置、配置和规模上的自由度，这是AR/VR应用程序的一个基本特征。我们的实验表明，我们可以以高达87%的精确准确率恢复由受害者用户输入的文本。此外，文本长度从5到250之间的结果仍保持在40%以上，这是令人震惊的。文章的主要贡献如下：

1）我们首次对AR/VR设备的空中敲击键盘进行了推理攻击。我们的攻击是基于受害者的手的痕迹，不需要任何用户分析，使其适用于各种场景和对抗能力。我们的攻击避免了对键盘定位和缩放的强烈假设，以考虑到用户在虚拟环境中配置它们的灵活性

2） 我们提出了一个详细的分步和端到端评估的五步攻击管道。我们根据相关文献中的各种指标来衡量我们的方法的性能。我们将讨论了每个步骤的性能如何影响最终结果，并演示了不相交步骤的性能，以显示它们在不同上下文中对键盘日志推理攻击的适用性。

3）通过观察我们的攻击和使用场景在一个会话中假设了一个固定位置的键盘，我们提出并分析了一个通过动态定位键盘在空间中的防御。

2.系统和威胁模型

2.1系统

第一人称显示的AR键盘和手模型的视图

AR键盘设计：键盘布局是我们的，它可以由用户自由调整大小。

会话：我们将会话定义为在AR键盘上输入文本的过程。我们假设键盘在会话期间有一个固定的空间配置，尽管它可能会在会话之间发生变化。

追踪：对于用户在AR键盘上打字和对对手进行攻击，手跟踪数据是必不可少的。攻击者通过少数的媒介发现手轨迹，每个媒介都提供了以下信息：所有手指的指尖位置，所有指尖的指向方向，手掌中心的位置，以及手掌的正常位置。我们将这些信息称为低级的手跟踪数据。我们期望我们的方法将进行微小的修改，即使低级的手跟踪数据不是精确的相同格式可用，但只要手的空间信息可用。

2.2威胁模型

我们设想了一个具体的威胁模型，它考虑了一个在AR HMD中使用AR键盘的被攻击者，以及一个试图通过利用手的痕迹来推断受害者的类型的对手。

三个场景：

场景1：攻击者在公共空间的受害者附近放置了一个手追踪装置

场景2：对手佩戴AR HMD，坐在受害者附近，可能是在公共空间中，使用AR HMD的手部跟踪功能来记录受害者的手部运动。

场景3：对手用恶意软件感染受害者的AR HMD，使对手能够通过AR HMD的API从内置的手动跟踪传感器获取数据。

在所有的场景中，都需要在受害者的虚拟环境的坐标系统与对手的虚拟环境模型的坐标系统之间进行校准，而这一要求是我们在本研究中克服的主要技术挑战之一。

3.技术细节和方法

按键记录推理攻击被定义为一个分为两个阶段的过程：按键检测和按键识别。我们概述了我们的五次攻击管道的技术细节。我们的管道的前两个步骤用于击键检测，而随后的三个步骤用于击键识别。

攻击的五步管道，它将手跟踪数据作为输入，输出从好到坏的推断。前两个步骤是按键检测阶段，后三个步骤是按键识别阶段。

3.1深度按键定位

定位基于三个观察：

观察1：在AR键盘上写字时，手会遵循一定的图形。这反过来又使按键敲击手势有别于所有其他手势。

方法：利用卷积神经网络（CNN）来定位时间窗口中的关键点击，在那里观察到关键点击的特定图形。

预处理：首先对信号进行预处理。在这一阶段，我们从低水平的手部跟踪数据中获得三个特征： 1)每个手指的尖端位置到手掌中心的位置（fp），2)每个手指的方向向量减去手掌的法向量来得到手掌的法向量（fd），3)通过用fp替换的指尖来计算每个指尖的速度（fv）。我们分别称它们为位置、方向和速度子信号，我们表示手的特征为X = {xt}tT=1，其中第t帧是xt = [ fp fd fv]T。

网络架构：

用于按键点击定位的多头CNN架构。输入是来自预处理的低级手跟踪数据的一个片段，而输出是属于一个按键点击的片段的置信度分数。

定位：为了定位，我们在低级数据流上滑动一个固定长度（30）窗口来生成段。然后，我们使用CNN组件获得每个片段的置信度分数Pc。我们通过应用非最大抑制来过滤掉冗余检测，以确保局部窗口是不相交的，并且只保留最自信的窗口。然后，我们剔除了Pc小于分类阈值τc = 0.5的片段，并在评估中解释了其基本原理。最后，通过获取食指在窗口中点的位置，每个片段与一个按键点相关联。

3.2按键点击精确定位

在这个阶段，我们根据键盘上的几何观察，分四个步骤来细化。

观察2：键盘的敲击点在一个三维平面上。

步骤1：键盘平面估计。为了找到一个对估计的三维按键点的拟合平面，我们使用一个回归模型，最小化点和平面之间的线性最小二乘方误差。

步骤2：减少假阳性。我们跟踪每个按键点击窗口的指尖轨迹，并检查它是否穿过估计的平面。否则，我们将消除它，因为手指不接触键盘平面。

步骤3：精确按键点。为了提高按键点的空间精度，我们使用指尖穿过估计的键盘平面的交点，而不是像以前那样使用按键点窗口的中点。

步骤4：降维。由于所有的按键点都在同一个平面上，我们可以很容易地将它们表示为二维点，而不会丢失任何信息。为了实现这一任务，我们首先使用施密特正交化创建一个包含平面正法线的标准正交基。然后根据按键点改变基。最后，我们通过在法向量方向上省略分量得到二维按键点K。

3.3候选按键中心生成

在这一步中，我们从改进的按键点推断出AR键盘的候选按键中心。我们提出了以下关于按键中心和按键点之间关系的观察，我们利用它进行推断。

观察3：当AR键盘中的每个键中心被认为是该特定键的簇质心时，每个按键点将属于按键的簇。

对于正确的聚类，聚类的数量应该与在会话中按下的唯一键的数量相同。但是，并非所有的唯一的键都必须在会话期间使用。因此，攻击者不知道所需的聚类数量，这是本步骤中的一个关键挑战。为了解决这个问题，我们通过凝聚层次聚类生成具有不同数量聚类的聚类组，以改变应用按键的数量。

算法显示了我们用来组成聚类组g的过程。最初，所有按键点都被视为具有统一权重的单例聚类，如第7行所示。然后，通过合并考虑权重的最近的聚类，迭代更新聚类组C（第11行）。对聚类组C的每次更新都会导致将一个聚类组添加到具有不同聚类计数的G（12行）中。然后利用欧氏距离来寻找最近的聚类对，并通过加权向量平均进行合并。

3.4候选键盘重建

在这一步中，我们通过克服两个挑战来重建可能的键盘。

挑战1：坐标系未知。考虑到坐标系之间的这一系列线性变换，我们实现了一个表示坐标系之间映射的相似度变换T。利用每个空间的两个对应的点对，T可以计算出来，如算法2所示。我们将T（）称为将T应用于其输入的相似度变换函数。

挑战2：未知的对应点。有了T，按键点K可以转换为AR键盘模型的空间为K‘= T (K)。然后，通过检查哪个键的区域k‘落点，K‘中的每个键点击位置k‘都可以与一个键相关联。最终恢复被点击的按键。然而，攻击者在这两个空间中都缺少对应的点，因此不能直接得到正确的变换。为了解决这个挑战，我们使用了上一步中的按键中心。由于没有先验知识知道哪个聚类对应于哪个键，我们解释了每个聚类c对于G中每个聚类组c属于任何唯一键j的可能性。我们称聚类中心c和按键j的配对为中心-键对。然后，我们通过使用每个可能的中心键对计算T来获得候选键盘重建。我们总结了算法3中候选算法的重建情况。

3.5最好到最坏的重建顺序

我们观察到，精确的重建通常具有特定的特征。在这一步中，我们使用推理测量（IM）来测量这些特征，使键盘重建从好到坏，大大减少了需要考虑的重建数量。

IM1：比例因素。用户可以在由Ts控制的虚拟环境中自由地缩放AR对象。键盘太小或太大会对可用性产生负面影响。因此，我们定义了Ts的限制来消除不可行的重建。

IM2：离差比。我们定义IM2，并将其计算为异常值数与所有按键点的比率。

IM3：聚类的数量——不同按键。对于正确的键盘重建，我们期望聚类的数量最优地等于转换后找到的唯一键的数量。对于计数器的情况，我们使用IM3来测量异常，它表征聚类的数量和发现的唯一键之间的差异。

对于IM1我们通过设置强制比例来消除影响。针对另外两个，我们利用了一个线性回归模型。该模型以IM2和IM3为输入，并输出相关的正确性评分。我们用估计的回归模型和地面真实弦之间的归一化相似度来测量的正确性分数来训练回归模型。在我们训练回归模型后，我们将每个候选重建的IM2和IM3转发给它。然后，我们按照降序对重构物进行排序根据它们的正确性得分。

4.评估

实验评估内容：(1)关于我们导致构建每个步骤的假设的有效性，(2)探索每个步骤对总体的贡献，(3)探索每个步骤的局限性并讨论它们对总体方法的影响。

4.1实验设置

在我们的实验中，我们使用Magic Leap 1（ML1）作为AR HMD，并使用Leap Motion Controller（LMC）作为手动跟踪器，如图所示。LMC可以在120×150°的视野内跟踪60厘米范围内的手，而ML1可以检测到80厘米距离内的手。

我们用normalized Levenshtein相似度来衡量文本推断的准确性。我们还使用精确指向、h-hop和top-k精度。H-hop精度的计算是通过考虑从实际键中取h跳为可以达到的预测键来实现的。精确定位精度为0-hop精度。Top-k精度是在最佳到最差排序下的第一个k个推断中的最大精度。Top-k对于评估我们的方法至关重要，因为我们输出了一组推论。

5.文章的局限

上下文学习：结合上下文关系，利用语言模型，进一步提高准确率。