阅读笔记：Zero-Effort Cross-Domain Gesture Recognition with Wi-Fi

摘要

  为了推进领域无关的感知，一个在较低的信号级别的领域无关的特征是关键。提出Widar3.0，主要为了在较低的信号级别推导和估计手势的速度分布。开发了一个只需一次训练但是可以适应不同数据领域的模型。

1 引言

  目前存在的方法的问题在于，每次换一个领域（domain）都需要在数据获取和模型重训练上做出额外的工作。
  一个有前景但是有挑战性的方法就是开发只需在一个领域下训练一次，就能在任何地方使用的模型。我们的工作的关键想法在于将泛化能力向下移动到较低的信号水平，而不是在较高的模型层面。具体来说，是从原始领域相关的信号中，提取领域无关的特征，这些特征只反映手势本身。在此基础上，建立一个可解释的跨领域识别模型。
  主要面临三个技术上的挑战：

1. 过去使用的信号特征（比如振幅、相位、多普勒频移（DFS）），以及他们的统计数据（最大、最小、平均、分布参数），都是领域相关的这意味着即使是相同的手势，它们的值也会随着不同的位置、方向和环境而变化。
2. 由于无线电信号只有几个连接，很难描述人类的手势和动作。例如，单个手势的动态轮廓仍然有数百个变量，这使得动态轮廓的估计成为一个高度欠定的问题。
3. 第三，跨域泛化通常需要复杂的学习模型(例如，更深的网络、更多的参数、更复杂的网络结构和更复杂的损失函数)，这些模型会减慢甚至阻碍训练，过度消耗训练数据，使模型更难以解释。

  Widar和Widar2.0跟踪人体粗糙的运动状态，例如位置和速度，并且把人当成是一个点。而Widar3.0要识别复杂的手势以及多个身体部位。Widar3.0的关键组件是领域无关特征body-coordinate velocity profile(BVP)，描述了 不同速度下的能量分布。我们观察到，不管在怎样的领域下，每种手势在身体坐标系中都有其独特的速度分布。为了估算BVP，我们从几个显著的速度分量中估算BVP，并进一步使用压缩感知技术来获得准确的估算。在此基础上，我们设计了一个学习模型来捕捉手势的时空特征并最终进行手势分类。我们在COTS Wi-Fi设备上实现了Widar3.0。
  核心贡献有三点：

1. 我们提出了一种新的领域无关的特征，BVP，捕捉人体姿态的身体坐标速度剖面在较低的信号水平。
2. 在BVP特征基础上开发了一个one-fits-all模型以及一个充分利用BVP时空特征的学习模型。
3. 准确率高。并且是第一个 zero-effort cross-domain gesture recognition via Wi-Fi

2 MOTIVATION

   粗糙特征不能跨域。大多数识别方法从CSI提取粗糙的统计（波形）或物理特征（DFS、AoA,ToF）。然而由于人的不同位置和方向，以及多路径环境，同一个手势的特征可能有很大不同，影响识别。
  用于粗跟踪的跨域运动特性。无设备跟踪方法在信号的物理特征和人体的运动状态之间建立定量关系，跨环境启用位置和速度测量。然而这些方法把人体看成一个点，而不足以识别包含多个肢体的复杂的手势。图3显示了一个简单拍手的光谱图，它包含两个主要的DFS成分，由两只手和几个次要成分组成。

   跨域学习方法中潜在的特征。跨域学习方法中，例如迁移学习和对抗学习都潜在地从数据样本中产生特征。但是，这些工作需要额外的工作，从目标域收集数据样本，并在每次添加新的目标域时对分类器进行重新训练。

3 WIDAR3.0概述

  Widar3.0是一个跨域的手势识别系统，使用现成的Wi-Fi设备。如图5所示，监控区域周围部署了多个无线链接。在接收端接收到用户在监控区域内产生的无线信号，并对其CSI测量进行记录和预处理，以消除幅值噪声和相位偏移。
  Widar3.0有两个主要模块：BVP生成模块和手势识别模块。
  一旦接收到处理好地CSI series，Widar3.0将其划分成小的片段，并且通过BVP生成模块对每个CSI片段生成BVP。Widar3.0先产生三个中间结果：DFS谱以及人的方向和位置信息。DFS谱是通过对CSI series的时频分析来评估的。方向和位置信息是由运动跟踪方法来计算的。在此基础上，Widar3.0应用提出的基于压缩感知的优化方法来估计每个CSI段的BVP。然后输出BVP系列，用于后续的手势识别。
  手势识别模块使用了深度学习网络。使用BVP series作为输入，Widar3.0对每个BVP和整个系列进行规范化，以删除实例和人员的无关变量。然后规范化后的BVP series被输入到时空DNN中。首先DNN使用卷积层提取在每个BVP中的高层次的空间特征。然后采用递归层对BVPs间的互特征进行时间建模。最后，DNN的输出指示用户执行的手势的类型。原则上，Widar3.0实现了零功跨域手势识别，只需要一次DNN网络训练，但可以直接适应尽可能多的新域。

BODY-COORDINATE VELOCITY PROFILE

  直观地看，人类活动在涉及的所有身体部位都有独特的速度分布，可以作为活动指标。在人所反映的信号的所有参数(即ToF、AoA、DFS和衰减)中，DFS最能体现速度分布的信息。不幸的是，DFS还与人的位置和方向高度相关。

4.1CSI的多普勒表示

  现成的Wi-Fi设备描绘的CSI描述了在室内环境中数据包到达时间$t$和子载波频率$f$时的多径效应：

其中$L$是路径数，$a_l$和${\tau }_l$是第$l$条路径的复数衰减和传播延迟。$ϵ（f，t）$是由时序对准偏移，采样频率偏移和载波频率偏移引起的相位误差。
  通过用相应的DFS表示多径信号的相位，可以将CSI变换为：

其中其中常数$H_s$是DFS为零的所有静态信号（例如LoS信号）的总和，$P_d$是DFS为非零的动态信号的集合（例如目标反射的信号）。
  通过在同一Wi-Fi NIC上计算两个天线的CSI的共轭乘法，并滤除带外噪声和准静态偏移，可以去除随机偏移，并且仅保留具有非零DFS的重要多径分量。 进一步应用短期傅立叶变换可在时域和多普勒频域上产生能量分布。单个链接的频谱图的一个示例如图3所示。我们将频谱图中的每个快照表示为DFS谱。 具体来说，DFS谱，D是维数为$F\times M$的矩阵，其中$F$是频域中采样点的数量，$M$是收发器链路的数量。 基于来自多个链接的DFS谱，我们可以推导与域无关的BVP。

4.2 从DFS到BVP

  一个人执行手势时，他的身体部位（例如，两只手，两只手臂和躯干）以不同的速度运动。 结果，这些身体部位反射的信号会经历各种DFS，这些DFS叠加在接收器上并形成相应的DFS轮廓。 如第2节所述，尽管DFS曲线包含手势的信息，但它也非常特定于域。 相反，在人的身体坐标系中在物理速度上的功率分布仅与手势的特性有关。 因此，为了消除域的影响，从DFS曲线中导出了BVP。

  BVP的主要思想如图6所示。一个BVP V量化为维数为$N\times N$的离散矩阵，其中$N$为体坐标各轴上分解的速度分量可能值的个数。我们建立了以人的位置为原点的局部人体坐标，$x$轴正方向与人的朝向一致。估计人的位置和朝向的方法将在4.4节中讨论。目前假定人的全局位置和朝向是已知的。然后将已知的无线收发器的全局位置转换为局部体坐标。因此，下面推导中使用的所有位置和方向都默认在局部体坐标中。假设第