无线感知会议系列【7】FingerDraw 基于WiFi的手指移动轨迹追踪检测-Ubicomp2020论文分享-1

明朝百晓生

于 2024-10-10 16:18:27 发布

阅读量796

点赞数 7

文章标签：人工智能机器学习

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/142722756

版权

摘要

这篇论文是发表在 Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 4, No. 1, Article 31. Publication date: March 2020，主要研究的方向是手指手势识别

论文名称：《Subwavelength-Level Finger Motion Tracking with Commodity WiFi Signals》

ACM Interact. Mob. Wearable Ubiquitous Technol，即《ACM Transactions on Interactive, Mobile, Wearable and Ubiquitous Technologies》（ACM人机交互、移动计算、可穿戴设备与普适计算汇刊），是人机交互领域的顶级期刊之一。以下是对该期刊的详细介绍：

一、期刊基本信息

创刊时间：2017年
出版周期：季刊
发文领域：人机交互（HCI）、移动计算、可穿戴设备以及普适计算等相关领域的研究

本文探讨了利用商用设备的 WiFi 信号跟踪空中手指绘图的可能性。
现有的解决方案通常要求用户持有无线发射器，或者需要专有的无线硬件，只能识别一组预定义的手势。

本文介绍了FingerDraw，第一个亚波长级别，使用商用 WiFi 设备跟踪手指运动的系统。无需在手指上安装任何传感器。 FingerDraw可以重建通过1个AP, 2个Rx 设备，感知手指绘制数字、字母、符号等轨迹。它使用双天线接收器来感测手指运动在每个方向上的亚波长尺度位移。 FingerDraw 的理论基础是 CSI 商模型，该模型通过CSI商消除了幅度中的噪声和相位中的随机偏移噪声（单Rx 两个天线），同时结合两个Rx 设备Fresnel 区之间的正交性，量化CSI 值与物体位移之间的相关性，该方案使我们能够检测到由于手指的微小移动。实验结果表明，总体跟踪精度为1.27 cm，空中画十个数字的识别达到平均准确率超过93.0%。

引言
相关工作
背景与挑战
利用信道商感知运动
UNDERSTANDING CSI DYNAMICS OF FINGER DRAWINGS
IMPLEMENTATION
EVALUATION
LIMITATION AND DISCUSSION
CONCLUSION

一引言

最近基于无线电信号的手指手势识别，具有非接触、透明、非侵入性等优点，是智能家居理想的输入解决方案例如，用户可以执行手指手势来控制家用电器或操纵角色在在线游戏中。手指交互的成功很大程度上取决于手指运动的有效跟踪以及手指手势的识别。

早期解决方案有: 可穿戴传感器的手指，但它们在实际家庭场景中的应用相当繁重。其他解决方案使用摄像头/红外传感器，但它们在非视距 (NLoS) 下效果不佳状况。基于声学的解决方案利用扬声器和麦克风来测量范围信息手指，从而实现高精度（6 ∼ 8 mm）且无累积误差。然而，它常常遭受环境噪音和隐私问题。基于无线电波RFID 系统和雷达等解决方案需要专用硬件，而这些硬件相对昂贵.

现有的基于WiFi的系统主要利用CSI波形模式来训练机器学习分类器用于识别手势。基于模式的方法假设手势和信号模式存在一个固定的映射。然而，根据本文的研究，同样的手指画在不同的位置或使用不同的尺寸进行操作会导致非常不同的CSI信号模式。很难收集不同人在所有手势绘制位置的CSI波形，因此不能保证手势识别性能。除了信号模式不一致问题，现有的机器学习方案都是通过预先定义的一组数据集（X,Y)，不能针对任意的手指绘制轨迹

另一组解决方案不依赖于训练，而是利用信号和信号之间的物理模型用于感知目标的运动跟踪。信号到达角（Angle-of-Arrival）已被用于通过感知手的运动来跟踪手的运动，它给出了相当粗略的轨迹估计。WiFi 信号中的多普勒频移（Doppler shifts）也被用来感知人体的运动速度。这基于多普勒的解决方案旨在跟踪大型身体部位（例如手臂和腿）的粗略运动，而不是与手指相比，最好的也只能实现亚米级的运动跟踪。充分捕捉细微的动作手指需要精确的 CSI 幅度和相位信息。由于商品 Wi-Fi 原始 CSI 阶段包含由于随机偏移，现有的相位稳定方法（共轭天线相乘）只能在一定程度上稳定CSI相位偏移，但是无法完美地消除随机相位偏移以获得精确的相位。感知微小的运动手指还需要高信噪比 (SNR)。捕获的微小手指运动的 CSI 信号变化很可能会被振幅脉冲噪声淹没。我们需要方法来大幅提高 CSI 中的 SNR信号以捕获微小的手指运动。

在本文中，我们设计并实现了一个名为 FingerDraw 的跟踪系统来跟踪厘米级手指绘图。受限于相对较低的带宽 (20 MHz)，基于WiFi的技术只能实现15m的低测距分辨率。我们证明采用精心设计的信号处理技术（在波长（5.8 cm）5.2 GHz频段）的WiFi信号可以被准确地提取出来。我们提出两个关键推动因素支撑 FingerDraw 的基础

1 CSI 商模型（去除噪声）

2 finger-draw 手指绘制分割和重建（通过正交的设备解决异质性问题）

随着 CSI 信号分辨率的显着提高，我们能够量化反射信号和CSI商相位变化之间的相关性。
然而，重建完整的绘制轨迹仍然不是一项简单的任务。原则上，跟踪和重建 2D轨迹需要来自二维的信息。因此，我们部署了一个 WiFi 发射器和两个 WiFi接收器。我们发现两个 WiFi 接收器最好正交放置。通过此设置，我们收集来自两个正交方向上的两个接收器的 CSI 信号。然后我们设计了一种手指绘图segment的方法，将每对收发器分成碎片，恢复并组合每个碎片的位移，最终跟踪并重建手指绘图的轨迹。

主要创新点：

1 利用 WiFi 接收器的两个天线CSI商模型实现手指运动感知。
可以很大程度上消除 CSI噪声信号，因为两个天线位于同一Rx, 具有非常相似的硬件噪声和相位偏移。

2 根据模型,分析了手指绘制如何影响两个天线上的 CSI 信道商 CSI 商模型.

开发算法从 CSI 数据中感测亚波长级手指运动并根据手指位移信息重建完整的手指轨迹。

3 在商用 WiFi 设备上实施 FingerDraw 并进行实际用户研究。

重建手指绘画的轨迹。 20人三分评价结果不同环境下，中值跟踪误差小于1.27 cm，轨迹为10 Microsoft Azure OCR 服务可以识别数字，平均准确度超过 93.0%。

二相关工作

手势识别和运动传感已在文献中得到广泛研究。它可以分为三类类别：非WiFi手势识别、WiFi手势识别、WiFi微运动追踪。

2.1 非WiFi手势识别

主要包括: Imaging-based systems Sonar-based systems,

WiSee uses specialized devices (USRP) with OFDM modulated
signals to extract the Doppler shift of the movement to recognize gestures

RF-IDraw traces a finger with RFID tag

简而言之，述系统通常需要专用硬件，但成本效益不高，它们可能
在特定场合工作，但他们的进一步部署是有限的。

2.2 WiFi手势识别

基于 WiFi 的手势识别最近的基于 WiFi 的手势识别方法是基于学习的。他们使用从广泛部署的商用 WiFi 设备获得的 CSI 值进行手势识别。大多数基于学习的手势识别系统都是使用 CSI 波形进行训练的.他们假设每个手势有其独特的CSI信号变化模式.信号模式在时域中进行比较或频域与训练集中的参考模式。

WiFinger 提取模式在时域中使用主成分识别并将波形形状与动态时间进行比较变形 (DTW) 以识别不同的手势。

WiGest [1] 和 WiAG [35] 使用以下方法提取频率分布离散波形变换 (DWT) 用于识别不同的手势。 WiMu [34]使用频率特征短时傅立叶变换 (STFT) 并生成虚拟样本以实现多用户手势识别。

Mudra [53] 使用对手指运动敏感的接收器中两个天线之间的“抵消”。它然后比较频率分布模式以识别不同的手势。

WiAG [35] 和 Widar 3.0 [55]提出了与方向无关的手势识别解决方案。 WiAG 使用手势翻译功能生成不同方向的虚拟样本以增加训练集。

Widar 3.0使用多个WiFi设备配对从多普勒信息构建跨域身体坐标速度剖面以进行手势识别。

上述系统本质上是利用模式,它们只能识别预定义的手势集，而不能识别任意手指运动跟踪。

2.3 WiFi微运动追踪

此类系统利用WiFi信号进行运动跟踪有训练.它们通过跟踪信号到达角度的变化或信号的变化来跟踪物体传播路径长度。

WiDraw [31] 显示信号到达角 (AoA) 可用于跟踪手部运动。它感应手/手臂通过检测某些特定区域的信号下降来阻断来自 20-30 个已知 WiFi 设备的传入无线信号方向。

QGesture [48]、WiDance [27] 和 Doppler-MUSIC [18] 通过估计长度来感知目标运动 CSI 幅度和相位信息改变反射路径。由于添加了随机偏移在CSI相位中，需要在使用前补偿相位偏移。 QGesture[48]提出了一种方法估计载波频率偏移 (CFO) 和采样频率偏移 (SFO) 并稳定 CSI 相位用于人手的运动距离和方向估计。

WiDance [27] 和多普勒音乐 [18] 使用来自两个接收器天线的两个 CSI 的共轭乘法来消除相位偏移并提取多普勒移动人类目标的速度信息。上述方法还受到原始 CSI 幅度噪声的影响并在提取的多普勒速度剖面中呈现低信噪比。他们还要求目标至少移动几个正确提取运动的波长。

总之，现有的基于WiFi的系统要么是基于模式的，用于识别预定义的手势用于跟踪跨越多个波长的粗粒度运动。他们都没有跟踪厘米级手指运动的能力。

三背景与挑战

为了理解为什么现有的WiFi感应方法无法感应亚波长级的手指运动，我们首先
介绍菲涅耳区背景下手指运动与CSI信号变化之间的映射,那么我们用一个例子来说明大多数现有CSI波形模式的传感限制手势识别系统。(现有的方案还存在另一个问题:需要打标签,但是

很多感知是很难打标签的,比如绘图）

3.1 Sensing Finger Motions with CSI Signals

异质性问题

如图2所示，手指在一对WiFi收发器的感应范围内移动。接收到的信号强度是所有路径信号的叠加，包括LOS Line-of-Sight (LoS),环境反射,手指动态反射路径。对于波长为𝜆的无线电波，当它沿着长度为𝑑的反射路径行进时，其相位会偏移 $\frac{2\pi d}{\lambda}$ 。随着手指的移动反射路径的长度改变，动态分量的相位相应地改变。(上图短距离移动,幅度近似为无衰减,只有相位变化,所以对应一个圆. 跟长距离移动的数学模型不一样）

我们使用菲涅耳区模型研究CSI信号变化。如图2所示，WiFi收发器将该对放置在固定位置，手指在菲涅耳区移动一小段距离。CSI是无线电波传播的所有路径中的分量的叠加，可分为静态和动态分量。显然，静态分量受到周围环境和LoS的影响，而动态分量由手指的反射路径决定。从数学上讲，总CSI可以表示如下

其中：

   静态路径信号,矢量
    动态路径幅度衰减系数
   动态路径相位偏移
        动态路径反射长度

    当手指移动时,反射路径的长度会发生变化，动态矢量相当于在一个圆上面做旋转（短距离移动只有相位变化，可以借助图1理解),当反射路径长度小于一个波长，相当于圆上的一个圆弧。旋转的方向
跟手指的运动方向相关
     当物体移动穿过一系列菲涅尔区域中，接收到的信号显示出连续的正弦波形。如果反射路径长度改变由移动物体引起的波长短于一个波长，接收到的信号只是正弦波形的一部分。这一发现意味着 CSI 波形模式对于相似的手指运动可能会有所不同，这取决于绘图时手指移动过多少个菲涅尔区，以及绘图中的初始位置菲涅尔区。

3.2 亚波长级手势识别中的模式不一致问题

在识别手指画图时普遍存在的问题是模式不一致。

先前的研究表明手势方向和位置会影响CSI波形模式。在识别厘米级手指绘图时问题更加严重，因为绘制尺寸和初始绘制位置也很重要。手指绘图的轻微改变可能会导致完全不同的CSI波形。为了揭示这个问题，我们进行了一项实验：将一对 WiFi 发射器和接收器放置在固定位置，间距70厘米。我们要求志愿者在三种情况下用手指在空中画一个字母“d”。

1 Case (a) 和 Case (b) 的字母大小不同：

实验结果： Case (a) 的波形比 Case(b()中的波形有更多可观察到的波动，因为case（a)穿越更多的Frenel 区。
2 Case (b) 和 Case (c) 的初始位置不同。

手指手写一个字母d, 被分割成很多片段。其CSI 商对应圆上一个弧度。

我们固定其他变量，只改变初始位置来观察CSI波形。假设反射路径长度先减少三分之一波长，然后再增加三分之二波长。根据在菲涅耳区模型中，我们预计动态相量分量顺时针旋转三分之一圈然后分别逆时针旋转三分之二圈。动态向量分量的初始相位为由物体开始移动的初始位置确定。如果我们重复同样的动作两次每个CSI信号的初始位置略有不同，CSI信号也不同，因为它们包含相同的静态相量但不同的时变动态相量分量，如图4所示。

厘米级的手指运动通常会引起亚波长尺度的反射路径变化，因此CSI波形高度依赖于绘图位置和大小。基于学习的方法本质上依赖于强化训练，取得良好成绩。以前基于学习的手势识别方法很敏感根据绘图的位置和大小。很难收集不同人群的CSI波形用于训练的所有手势绘制位置和手势绘制大小，从而提高手势识别性能无法保证。

初始位置的影响通过下面图形可以更加直观的了解（比如图二，采集到是两个相同幅度的CSI信号）

四利用信道商感知运动

注意：这里是一台设备不同天线之间的CSI信号相除

论文下半部提到了两个设备

在这篇论文中，我们没有采用基于机器学习的方法，而是使用了一种数学方法来重建
厘米级手指绘制轨迹，因此没有位置依赖和绘制的困难传统基于模式的机器学习方法中的大小依赖性。为了实现这一目标，我们构建通过取同一WiFi接收器的两个天线之间的CSI商来获得新的变换信号。这个使用CSI商的优点有两个：

1）它消除了原始CSI信号中的大部分噪声（幅度噪声,相位噪声）

2）它提供了完全可用的相位和幅度CSI信息,并且仍然保持运动位移和CSI信号之间的相关性。

4.1 噪声消除

        MIMO技术已广泛应用于无线通信领域。多个天线增加信号多样性，从而为我们提供了更有效地消除信号噪声的机会。例如，相位差在到达角（AoA）估计和运动速度估计中探索了不同天线上的。使用相位差的好处是它不包含偏移噪声。由于不同的天线接收器共享相同的时钟，CFO 和 SFO 等相位偏移是相同的, 接收器两个天线上相位相减，完全消除了这些相位偏移（2016 sigmod 论文运动方向预测也是利用了该技术） CSI商信号以类似的方式消除噪声。通过除以该接收机上两个天线的CSI值 计算接收器上的信道商信息。结果是新复数值商（也称为信道商）。CSI商是减去所有偏移后两个天线之间的相位差CSI商是两个天线之间的振幅比。原始CSI信号包含的幅度噪声和相位噪声，已被抵消。这个抵消是有效的，因为CSI幅度中的脉冲噪声是缩放噪声，它放大了功率同一接收器上的每个天线处于同一水平。换言之虽然功率缩放随时间变化，它在同一接收器的天线之间是一致的。（噪声通过功率放大器等倍放大）

图5显示了原始CSI和CSI商。在图5（a）中，所有天线上CSI相位的样本是随机分布
在[−𝜋，𝜋]，我们观察到振幅中存在严重的脉冲噪声。通过两个天线上的CSI信号相除,
其幅度和相位上面的随机噪声都消除了.

与之前探索的相位差不同，两个天线之间的幅度商以前在WiFi传感中没有研究过。主要原因可能是缺乏明确的物理意义。然而，我们观察到，当反射路径如图6所示，运动物体的波长变化仅为一个波长。这意味着存在相关性在物体的位移和CSI商之间存在映射关系。这意味着使用复CSI商值的正交信息，即相位差和幅度商，用于运动目标的运动感测。采用CSI商作为新的变换基信号，它不仅实现了高通过消除原始CSI幅度中的噪声和原始CSI相位中的随机偏移，信噪比得以保持
相位差和振幅商之间的正交性，使得捕捉微小的运动成为可能一根手指。

4.2 CSI-quotient Model 数学模型

$A_{noise}$ 是幅度上面的脉冲噪声

$\theta_{offset}$ : 是随机的相位偏移

$H_{s,1}(f,t)$ : 静态矢量

$H_{d1}$ : 第一根天线上的动态矢量

$H_{d2}$ : 其它一根天线上的动态矢量

为了简化CSI 商模型，我们做了两个简单假设:

1: 我们假设静态分量以及幅度

Firstly, we assume the static components and
the magnitude of a channel dynamic component remain unchanged at the two antennas of a receiver as a target moves for some short distance. This assumption also holds in CSI-Speed model [41] and Fresnel Zone model [51].

1，我们假设当目标移动一段短距离时，静态分量和动态分量的幅度保持不变。这一假设也适用于CSI速度模型和菲涅耳区模型。

（接收处的信号根距离成反比 $P_r\sim \frac{P_t}{(d+\Delta t)^2}$ ，短距离移动一般远远小于反射路径总长度，一般都会通过分帧算法，采集短时间<1s, 移动距离很短，可以认为其幅度是一个固定值）

2 我们假设当目标移动一段短距离时，从运动目标反射的信号的到达角变化很小。

通过上面假设，我们可以简化公式：

其中：

   $A(f,t)$ 反射路径上的幅度衰减

$e^{-j 2\pi\frac{d(t)}{\lambda}}$ : 反射路径上面相位偏移

   $d(t)$ : 反射路径的位移长度

   $z=e^{-j \frac{2\pi d(t)}{\lambda}}$ : 对应一个复变量

a,b,c,d: 是复常数

上面公式就是Mobius 变换,是复数变换的基础理论之一.

莫比乌斯变换主要性质：反演，共性，保角。Z是一个单位圆，通过Mobius变换将其映射到

另一个圆。当应用于亚波长级运动传感时，手指移动对应的CSI商是一段圆弧，也就是说，我通过观察CSI商中弧的旋转来观察运动，而不是在原始CSI中观察它。

我们现在研究CSI中弧的旋转方向与CSI商中弧的方向之间的相关性，因为它指示手指的运动方向。研究CSI商中圆弧的旋转方向如何与导致反射路径长度增加或减少的物体的移动方向有关，我们重写等式3 变成更简洁的形式，如下所示。

其中

$\rho =\frac{bc-ad}{c^2}$

上面公式的约束条件是 $bc-ad \neq 0$ ,否则所有几何图形transformer 后都对应同一个复常数,失去了保形性质. 通过公式4，我们可以看到当物体移动时候，反射路径长度 $d_2(t)$ 发生了变化，对应Z上面的一段轨迹或者几何形状。Z 依次通过下面5步可以得到Möbius transformation形式

translation 𝑧 ↦𝑧 + 𝛼,

inversion 𝑧 ↦ 1/𝑧,
dilation 𝑧 ↦ 𝜌𝑧,

rotation 𝑧 ↦ $ze^{i\theta}$

translation 𝑧 ↦ 𝑧 +𝛽.

以正方形为例，如下图（Mobius 变换后其跟原始的形状，即运动轨迹是一致的）

其中反演要注意的是，如果Z过圆心，则反演后运动方向跟原来相反

，如果z不过圆心，则反演后运动方向跟原来相同

论文中提供了下图d去解释

再举个例子：

1： Z圆心反演，本质上就是复数求倒数



2: Z 不过圆心反演

假设 $|A|=|B|=1$ , $|C||C_1|=1$ ,A,B点到圆心的距离都为1

原来运动轨迹为 A->B->C 则反演可以分为两步：

第一步：幅度取倒数运动轨迹变成了   $A->B->C_1$ ，逆时针

第二步：相位上面取共轭运动轨迹变成了    $A_1\rightarrow b_1\rightarrow C_1$ ，顺时针

3 怎么判断z 是否过圆心

通过公式4 可以看到z 是不过圆心的

因为 $z=z+\alpha$ , 只要 $\alpha>1$ 平移距离大于1 肯定是不过圆心的

因为 $\alpha=\frac{H_{s2}(f)}{A_2(f)}$ 静态路径上面信号大于动态路径上面的信号，所以

$\alpha$ 是大于1的

我们将CSI商模型的性质总结如下:

P1 当运动物体的反射路径只改变一个波长,其CSI商是复平面中的是一个的圆。当反射路径因多个波长而变化时，CSI商相应地旋转相同的轮数.

P2 当反射路径的长度变化小于一个波长时，CSI商形成圆弧，其弧度大致与反射路径的长度变化相匹配.

P3 CSI商中弧的旋转方向与目标在菲涅尔区运动方向一致.

要深入了解 Mobius 变换可以参考下面系列的博客

CSDN

4.3 模型验证

在本小节中，我们进行了实验来实证验证CSI商模型的上述三个性质。
我们使用发射机（Tx）和接收机（Rx）来记录CSI，金属板充当完美的信号反射器
如图8（a）所示。我们使用高精度THK可编程直线运动滑块以恒定速度。滑块垂直于收发器之间的LoS布置。WiFi的频率在实验中，信号被设置为5.24 GHz，波长6厘米。

P1 我们将发射器和接收器分开1.2m，金属板向外移动1m距离。我们计算CSI商中的圆数。板的初始位置为垂直于LoS 1.2米。根据计算，我们预计会看到33.09个周期。我们得到33个圆圈
CSI商信号与我们的计算非常接近。（这个实验是先向外移动1m,再向内移动1m,回到原来位置，一个波长对应一个CSI信号周期）

# -*- coding: utf-8 -*-
"""
Created on Thu Oct 10 15:43:56 2024

@author: chengxf2
"""

import numpy as np

wavelength = 0.06
d =1 
n = int(2*d/wavelength)
print("\n 周期",n)

P2的验证（图9 case1-4）。我们将发射机和接收机分开1.8米金属板的起始位置在case1&case2中分别设置为1m，case3和case4中分别设置为1.6m。

case1&case3中，移动距离分别为5mm

case2&case4中，移动距离分别为20mm。

4种情况运动方向都是向外位移。
结果如图9所示。在所有情况下，反射路径的长度变化都小于波长，因此信道商只是弧。

case1 和case2的运动从同一位置开始,它们的初始相位是相同的。

case3和case4的运动同一位置开始，它们的初始相位也是相同的。

case1和case3中的移动距离小于在case2&case4

实验结果：

phase change of the arcs are smaller in Fig. 9(a) and Fig. 9(c), compared with the arcs in
Fig. 9(b) and 9(d).

相同位置，位移距离小的，对应弧度也小

P3验证（图9 case5）。该设置类似于case4，除了移动方向是向后的。如图9所示，CSI商弧的旋转方向用箭头和颜色标记。这个样品的顺序是从深蓝色到浅红色。我们可以观察到，随着物体的移动向外，通道商中的弧相位顺时针旋转，如图9（d）所示；当物体移动时其反射路径长度减小，通道商中的弧相位逆时针旋转，如图所示图9（e）。

总之，同一接收机上天线之间的CSI商有效的去除了信道的相位噪声和幅度噪声，提供了更高的SNR. 反射路径上物体运动的长度对应CSI 商相位的弧度，以及方向.

待续