阅读笔记：XModal-ID: Through-Wall Person Identification from Candidate Video Footage Using WiFi

1 Introduction

  可以完成的任务：给定一个人的视频片段，然后可以通过计算这个视频中人可以产生的WIFI信号，与真实的WIFI信号作比较，由相似性判断是否为同一个人。
贡献：

1. 提出了新的模拟WIFI信号的基于人体行走录像片段的方法。更准确地说，提取了一个在视频中人体的3D网格模型，并且应用Born approximation来模拟视频中人体行走在WIFI区域内时的WIFI CSI幅度。
2. 提出了新的框架和用来获取人体基于WIFI CSI幅度信号的步态特征的特征集。更准确地说，综合使用了短时傅里叶变换和埃尔米特函数来生成一个频谱，并且提取关键特征。更进一步提出一种提取频谱关键部分的方法和运动的方向，这使得我们能够做识别并且无需追踪。
3. 评估。

3 PROBLEM FORMULATION AND SYSTEM OVERVIEW

1. 给定一个人的录像片段，构建一个3D网格模型。然后，我们随时间传播此网格模型，如果该人正走在一对WiFi收发器附近，则使用Born approximation来模拟相应的接收到的WiFi信号。然后使用短时傅里叶变换使用信号幅度来生成频谱。
2. 在人走动的地方，一个WIFI接收器计算从发射器传送的CSI信号幅度。然后使用短时傅里叶变换和埃尔米特函数生成相应的频谱图并且对其进行分割，以获得最有助于识别的部分，并进一步估计运动方向。
3. 然后从WIFI和视频数据中获得的频谱图中分别提取关键特征，并且计算他们之间的距离。训练集中的特征距离被输入进一个小的一层神经网络，在经过训练过后输出一个表示相似性的得分，由此判断是否是同一个人。

4 PROPOSED XMODAL-ID SYSTEM

  该部分用来说明系统的细节。

4.1 Video-to-WiFi Gait Modeling

  介绍如何用人体行走的录像片段生成模拟的WIFI信号，这里不假设真实的WIFI接发设备与录像片段拍摄场景一致。
  给定一个人的视频帧，首先使用the Human Mesh Recovery (HMR) algorithm来生成密集的3D网格，这包括了很多3D点来描述人体的外表面。给定一个人的视频片段，就可以构建每一帧的3D点集。这种集合的序列就可以捕捉到人体的步态。图2显示了少量视频帧和它对应的3D网格模型。

  用 M ( t ) = { x m ( t ) ∈ R 3 , m = 1 , . . . , M } M(t)=\{ x_m(t)\in R^3,m=1,...,M\} M(t)={xm​(t)∈R3,m=1,...,M}表示人体在时间$t$生成的3D网格点。在真实的WIFI环境下，WIFI的发射器位于$x_T\in R^3$，接收器位于$x_R\in R^3$。为了模拟人在WIFI区域行走的WIFI信号，使用Born approximation来建模WIFI反射的人体网格表面。更准确的说，在时间$t$模拟的接收到的WIFI信号可以写成如下：$$s_v(t)=\underset{directsignalfromTxtoRx}{\underbrace{g(x_T,x_R)}}+\sum _{m\in M^{\prime }(t)}\underset{reflectedsignalfrompoint{x}_m}{\underbrace{A_m{G}_{m}g(x_T,x_m)g(x_m,,x_R)}}(1)$$这里$g(x,y)$是从点x到点y的在三维坐标系下的格林函数，并且这里||·||是欧几里得范数，$\lambda$是无线信号的波长，$M^{\prime }(t)\subset M(t)$是所有Tx和Rx可见的人体网格点的子集，因为只有这些点能够将信号反射给Rx。我们在$M(t)$上应用the Hidden Point Removal (HPR) algorithm来确定$M^{\prime }(t)$。

  从点$x_m$反射的信号强度由两个因素决定：$x_m$所属的身体部位的表面积和方向。比如，人的躯干比其他部位有更高的反射率因为它有更大的表面积。这个因素由$A_m$体现。人体的朝向确定入射信号将被反射的方向。一个完美的反射面将会在$x_m$仅从方向反射入射波，这里$n_m$是点$x_m$在人体上的法线向量。然而人体最好被建模为类准反射镜，将信号以不同的振幅反射到很多方向，最强烈的是$r_m$方向。从点$x_m$到Rx的反射波的振幅将相反地与向量$x_R-x_m$和$r_m$夹角相关联。这种关联可以由Gaussian mask表示
我们模拟视频中的人在收发器的垂直平分线上走离链接的接收到的无线信号，如图3(b)所示。

4.2 WiFi-Based Gait Modeling

  如图4所示，一个人在WIFI覆盖的区域行走，一个WIFI发射器发送了一个无线信号，该信号从人体的不同部位反射，并由WIFI接收器接收。复基带接收信号$s_b(t)$可以写作如下：

这里${\alpha }_s{e}^{j{\theta }_s}$是复杂的接收信号，包括直接路径和静态路径的影响，${\alpha }_m$是从第m个身体部位反射的信号的振幅，$d_m$是在时间$t=0$时那条路径的长度，$v_m(t)$是第m个身体部位在时间$t$的速度。
这里角度由图4显示。

4.3 Spectrogram Generation Based on Measured Wireless Signals

从等式3可以看出信号$s(t)$是多个正弦波的总和，其频率与移动人的不同身体部位的各自速度线性相关。因此，评估信号$s(t)$的瞬时频率分量可提供有关人如何行走的信息。最后我们使用短时傅里叶变换。短时傅里叶变换中，将一个长度为$T_{win}$的短移动窗口应用于$s(t)$，并将傅立叶变换应用于该移动窗口的每个实例，以估计频率分量，从而产生信号频谱图。更准确地说，公式如下：


  如图5(a)所示，展示了一个行走的人的STFT频谱图，这来源于人在垂直于WIFI链接的路径上走离链接时接收到的WIFI信号。一个强烈的反射（由亮色表示）可以看出在频谱图的将近25HZ的部分，表示0.72m/s的速度。这由躯干的运动导致，由于躯干的面积大，反射更加强烈。速度较快的身体部位（比如腿）的较弱的反射（由暗色表示）在频谱图更高的频率上周期性地出现。
  尽管STFT提供了有关不同身体部位的瞬时速度的有价值的信息，但文献已经表明，相应的时频分辨率的折衷会影响该信息的质量。然后，20]中提出了多窗口埃尔米特频谱图（HS），以提高STFT频谱图的浓度。在埃尔米特频谱图中，多个埃尔米特函数用作时频分析的窗口，更准确地说：

这里${\chi }_k(t)$是第k个埃尔米特函数，$b_k(t)$是通过求解：

获得的加权系数。
  图5(b)显示了一个埃尔米特频谱图（有K=3埃尔米特函数），它的数据和图5(a)的STFT频谱图的数据一样。为了结合HS的理想浓度特性和STFT检测来自人体不同部位的微小反射的能力，我们建议通过组合以下两个频谱图来生成最终的WiFi频谱图：
$$S(t,f)=STFT(t,f)+HS(t,f)$$
本质上，$S(t,f)$是一个多窗口频谱图，利用了矩形窗口和埃尔米特窗口。我们观察到这种结合极大地提高了步态信息在傅里叶域的可见性。然后，相对于该时间点所有频率上的值之和，我们在每个时间点归一化频谱图。
  为了可视化结合频谱图的印象，考虑图5(a)和图5(b).
在STFT中可以清楚地看到人的四肢反射，而在Hermite光谱图中，躯干反射的集中更加清晰。因此，结合的频谱图如图5©能同时捕捉步态的这两种层面。另外，图5(d)显示了另一个人行走在同一条路径上的复合频谱图，展示了可区分的步态属性。
Remark 1从等式3，频谱图中的频率$f$是由运动的物体以速度$v=f\lambda /\psi$产生的。由背景环境引起的静态多径出现在$f=0$，因此不会影响步态运动信息，因为步态运动信息以非零频率出现。
Remark 2我们从反射信号的频率提取步态信息，而不是从它的功率。因此，只要反射信号的功率在本底噪声以上，就可以从频谱图中提取步态信息。这对于穿墙设置特别有吸引力，在穿墙设置中，墙壁会衰减信号功率，但不会影响步态运动信息。

4.3.1 Spectrogram Segmentation

  正如公式3所示，两个参数决定了$s(t)$不同正弦分量的瞬时频率：运动方向（由$\psi$表示），不同身体部位的瞬时速度（$v_m$）。在这部分，我们描述如何分割频谱图$S(t,f)$并且提取$\psi$可以认为恒定的部分。当WIFI收发器与人与链路的距离相比，比较接近时，每当人在直线上朝或远离$T_x-R_x$线中点走时，都会获得一个具有近似恒定$\psi$的片段。在这个片段频谱图中，频率信息主要包含人的步态属性，因为它只取决于不同身体部位的速度($v_m$)。这样，它可以提供有关人员识别的丰富信息，而无需了解人员的踪迹。我们将这样的片段成为constant-$\psi$ segment，并且应用于我们的XModal-ID 系统。注意这里我们不需要人行走的整个轨迹都在朝向/远离链接中点的直线上，人可以走任何路线，只要有一小段路线满足在中点上这一条件就行。
  为了提取constant-$\psi$，我们寻找满足两个条件的片段（最小宽度是$T_{min}$）。首先，段内频率上的能量分布应该保持低于阈值$V_{th}$，因为$V(t)$的值较高的话就表明频谱图在时间$t$接近于平滑，这就暗示了在这个片段没有检测到行走。第二，片段内的平均躯干速度变量应该保持低于一个确定的阈值$v_{th}$。由于平均躯干速度在一个短时间窗口中是恒定的，变化的平均躯干速度在频谱上是由于变化的$\psi$。平均躯干速度可以由频谱图计算出来，在Sec.5中解释。当一个片段满足了上述的条件，它就可以认为是constant-$\psi$ segment。
  接下来，我们考虑$T_{min}$合适的值（片段的最小可接受宽度）。$T_{min}$过小将会导致很多误报，因为$\psi$会由于片段过短而被错误地认为是恒定的。另一方面，过大的$T_{min}$会需要人行走很长的时间才能被识别。我们认为$T_{min}=3$是适合的，它提供了充足数量的步态周期来提取有意义的步态特征。

  如图6显示了一个分割算法的例子，如左图所示，$constant-\psi segment$指的是part2和part3。右图显示了完整的频谱图$S(t,f)$以及通过算法分割的部分。

4.3.2 Walking Direction Estimation

  我们发现，走离链接的部分比走向链接的部分有更加清晰的步态模式，因此我们提出在后续的处理步骤中，只使用走离链接的部分。使$S_w(t,f)$表示一个$constant-\psi segment$。人的运动方向信息（比如走离或者走向链接），理论上包含在$\psi$内。但是，无法从$S_w(t,f)$中提取此信息，因为正$\psi$和负$\psi$都将导致相同的声谱图，因此仅使用信号幅度测量即可。这里，我们提出了一个新的方法来估计行走方向。
  尽管$S_w(t,f)$中缺少$\psi$的信息，我们仍可以通过利用WIFI信号频率在$[f_c-B/2,f_c+B/2]$的范围内的事实来决定行走方向。这里$f_c$是载波频率，而$B$是WIF带宽。根据等式3，幅度平方WiFi信号$s(t;\rho )$，在一个非常短的时间内并在频率范围$f_c+\rho$测量得到，这里$\rho \in [-B/2,B/2]$，写作：

这里$c$是光速。等式8最后一行是由于：在一个非常短的时间窗口中，$\rho t$相比于其他余弦函数参数是可忽略不计的。通过对$z(t;\rho )$在$t$维度使用傅里叶变换以及在$\rho$维度使用逆傅里叶变换，可以得到：

这里$\delta (.,.)$是2D Dirac Delta function，${\lambda }_c=c/f_c$。通过检验等式9，我们可以发现对于正的$\psi$（人走向链接），$Z$的分量位于$(f,\tau )$空间的第一和第三象限，而对于负的$\psi$，位于第二和第四象限。因此我们可以根据以下规则得出行走方向：

  图7展示了人走向或走离链接的方向估计结果$Z(f;\tau )$。可以清晰地看出$Z(f;\tau )$对于走向链接，其能量集中于第一和第三象限，而后者则集中于第二和第四象限。

4.4 Video-Based Spectrogram Generation

  在4.1节中，我们提出了一种基于人的视频录像来模拟无线信号的方法，使用了HMR算法，HPR算法和Born approximation。由于我们只对$constant-\psi$的部分感兴趣，如4.3节所讨论的一样，我们只需要模拟等式1相应的无线信号，即当人在链接的垂直平分线上走离链接并且离链接足够远（比如当收发器的距离是1.5米时就需要2米）的情况。在使用等式1计算$s_v(t)$后，模拟WIFI信号$S_v(t,f)$的频谱图由$|s_v(t){|}^2$通过等式4应用短时傅里叶变换生成而来。

  为了验证我们的框架，我们做了一个实验，一个对象在链接的垂直平分线上走离链接，同时被录像。如图8(a)显示了真实的WIFI数据的频谱图以及基于视频模拟的频谱图。图8更进一步展示了一些从两个频谱图中提取的步态属性，可以发现，基于视频的频谱图几乎模拟了真实的WIFI数据频谱图。另外，图8(b)展示了两个不同对象的基于视频的频谱图的例子，可以发现两个对象的步态属性在两个频谱图里是很容易区分的。
  接下来将展示如何计算基于视频的模拟频谱图和真实获得的WIFI数据频谱图的相似程度，用以识别是否为同一个人。

5 FEATURE EXTRACTION AND SIMILARITY PREDICTION

  为了识别是否为同一个人，我们从相应的频谱图提取了一些特征。然后计算了一组基于WIFI的和基于视频的特征的距离。有了这些距离，我们训练了一个一层的神经网络来适当地结合这些距离并且决定WIFI和视频样本是否属于同一个人。训练过后，神经网络不仅给出了预测，同时也给出了相似性的得分。一旦网络训练好了，我们就能够将他应用在没有见过的WIFI和视频数据上。

5.1 Spectrogram Features

  我们识别了12种捕捉人体步态特性的关键特征。我们同时计算WIFI和视频频谱图的每个特征，并且使用距离尺度来衡量两个频谱图的每个特征的不同。更详细的说，我们从频谱图的频率和时间维度来看，因为他们又不同种类的步态特征。
  频率维度携带了关于 不同身体部位运动速度的信息，因此我们使用了如下的与频率有关的特征：

• Frequency distribution(FD)：这个特征通过对频谱图在时间上取平均获得。这个特征可以捕获人在行走过程中频率分量的分布，或等效地捕获不同身体部位的速度。
• Frequency distribution in 4 giat phases(FD4)：与前一个特征相似，我们为步态周期的四个阶段中的每个阶段计算频谱图的时间平均，得到四个相应的特征向量[30]。
• Average torso speed：我们计算出躯干速度曲线的平均值，可以使用[30]中的方法从频谱图中提取。
• Average of the range of torso speed：在提取躯干速度曲线后，计算躯干速度变量在一个步态周期的范围。然后将该范围在频谱图中所有步态周期上取平均值。

  时间维度携带了关于人体步态的时间信息。我们使用如下特征来捕捉时间特点：

• Autocorrelation(AC)：给定一个频谱图，我们为每个频率仓计算整个时间的自相关（最大滞后为2秒），得到一个自相关矩阵。然后，我们基于频率分布上的能量分布计算该矩阵在频率维度上的加权和。 此功能携带有关步态周期和步行周期的信息。
• FFT of spectrogram over time：与[22]种的方法类似，我们为每个频率仓计算了频谱图随时间的快速傅立叶变换（FFT）。然后根据频率上的能量分布，计算频率范围内的加权和。
• Histogram of autocorrelation gradient：这是AC特征向量的梯度直方图。
• Histogram of torso speed gradient：我们计算了躯干速度梯度直方图，它显示躯干速度如何随时间变化。
• Stride length：这是通过将平均躯干速度乘以步态周期长度获得的，步态周期长度可以从躯干速度曲线中提取。
    就有了12个WIFI频谱特征和12个基于视频的模拟频谱的特征，我们计算相应特征的距离，结果是一个表示12个特征距离的向量。更准确的说，对于频率分布（FD），我们使用Kullback- Leibler Divergence（KLD）作为距离尺度。对于四个步态周期的频率分布，对每个步态周期，我们首先通过抵消各自的平均速度来对准基于WiFi和基于视频的特征。然后使用KLD作为距离尺度。这个对准消除了依赖于区域的平均速度的影响（请参见第8节），并更加关注身体部位的相对速度。 对于自相关（AC），我们使用余弦相似度。 对于所有其他特征，我们使用欧几里德距离。

5.2 Similarity Prediction

  给出一组WIFI和视频数据样本，我们计算了12个距离。然后利用一个简单的神经网络来结合这些距离并生成一个最后的结果，看是否WIFI和视频对属于同一个人。我们在WiFi /视频数据以及与测试对象和区域不相交的位置上训练网络（更多详细信息，请参见第6节）。在训练过程中，将这12个距离输入神经网络，该神经网络具有1个包含30个单元的隐藏层以及一个表示这两个样本是否属于同一个人的二进制标签。经过训练，该网络可以在给定对上提供二进制决策，并提供表明相似度的置信度得分 在一对之间。

6 EXPERIMENTAL SETUP AND DATA COLLECTION