2017《Position and Orientation Agnostic Gesture Recognition Using WiFi》
本文贡献：
配置 configuration，用于表征手势运动及方向。
提出一种 translation function，以支持位置和方向无关的手势识别，而不需要在所有可能的配置中提供训练样本。
提出一种 configuration estimation scheme，用于自动识别用户的位置和方向。在上述基础上，提出了一套commodity-devices (CD) based
{区别于specialized-hardware (SH) based}的WiAG手势识别系统，当configuration不一致时，手势识别准确度从51.4%上升到了91.4%。
为什么要利用虚拟样本？（未复现，看完论文后的理解）
因为直接利用在各种配置下（网格交点数×方向数（取8）×手势种类 × 单个手势样本数）的样本，在方向和位置改变时，测试准确度回显著下降，而翻译函数使基于WiFi的手势识别与方向无关。翻译函数的映射，能够将手势的特征泛化，减少位置和方向的影响。
目录
1. translation function
部分术语：
样本：一个或多个无线信道CSI测量值的时间序列
真实样本：真实情况中在已知配置下的CSI测量序列
虚拟样本：translation function在给定配置下生成的对应手势的虚拟的CSI序列
1.1 在没有手势运动时的CFR建模
H
(
f
)
=
∑
i
=
1
N
k
D
i
2
×
e
j
2
π
D
i
λ
H(f)=\sum_{i=1}^{N} \frac{k}{D_{i}^{2}} \times e^{j 2 \pi \frac{D_{i}}{\lambda}}
H(f)=i=1∑NDi2k×ej2πλDi理解为对多径+不同的反射路径长度+路径衰落的建模
对应人体静止时，模型：
H
D
(
f
)
=
H
s
(
f
)
+
k
/
D
2
×
e
j
2
π
D
λ
H_{D}(f)=H_{s}(f)+k / D^{2} \times e^{j 2 \pi \frac{D}{\lambda}}
HD(f)=Hs(f)+k/D2×ej2πλD表征为静态非人体反射和人体反射。
1.2 在有手势运动时的CFR建模
1.2.1 线性手势
先从理想点反射体的运动进行分析，图（a）存在如下等式关系
(
D
2
)
2
=
(
D
1
)
2
{
1
+
(
d
D
1
)
2
−
2
d
D
1
cos
(
θ
)
}
\left(D_{2}\right)^{2}=\left(D_{1}\right)^{2}\left\{1+\left(\frac{d}{D_{1}}\right)^{2}-2 \frac{d}{D_{1}} \cos (\theta)\right\}
(D2)2=(D1)2{1+(D1d)2−2D1dcos(θ)}将
(
D
2
)
2
\left(D_{2}\right)^{2}
(D2)2带入人体静止模型中的D得到：<这样带入，引入了运动距离参数d，初始位置参数
D
1
D_{1}
D1、θ、移动后的位置
D
2
D_{2}
D2>
H
D
2
(
f
,
t
)
=
H
s
(
f
)
+
k
×
e
j
2
π
D
2
λ
(
D
1
)
2
{
1
+
(
d
D
1
)
2
−
2
d
D
1
cos
(
θ
)
}
H_{D_{2}}(f, t)=H_{s}(f)+\frac{k \times e^{j 2 \pi \frac{D_{2}}{\lambda}}}{\left(D_{1}\right)^{2}\left\{1+\left(\frac{d}{D_{1}}\right)^{2}-2 \frac{d}{D_{1}} \cos (\theta)\right\}}
HD2(f,t)=Hs(f)+(D1)2{1+(D1d)2−2D1dcos(θ)}k×ej2πλD2由于
d
=
v
t
d=v t
d=vt所以写为时变信道的形式。
如果视手臂为一个横截面面积正比于手臂移动的距离的反射器，从臂上反射的信号的强度也随移动距离d变化。为简化模型，将手臂运动距离分解成随时间变化的很多个小段（即很多个点对象），从而将CFR近似为：
H
T
(
f
,
t
)
=
H
s
(
f
)
+
∫
0
t
k
v
×
e
j
2
π
D
2
λ
(
D
1
)
2
{
1
+
(
v
t
D
1
)
2
−
2
v
t
D
1
cos
(
θ
)
}
d
t
H_{T}(f, t)=H_{s}(f)+\int_{0}^{t} \frac{k v \times e^{j 2 \pi \frac{D_{2}}{\lambda}}}{\left(D_{1}\right)^{2}\left\{1+\left(\frac{v t}{D_{1}}\right)^{2}-2 \frac{v t}{D_{1}} \cos (\theta)\right\}} \mathrm{d} t
HT(f,t)=Hs(f)+∫0t(D1)2{1+(D1vt)2−2D1vtcos(θ)}kv×ej2πλD2dt 为去除静态成分，进行微分：
d
H
T
(
f
,
t
)
=
k
v
×
e
j
2
π
D
2
λ
(
D
1
)
2
{
1
+
(
v
t
D
1
)
2
−
2
v
t
D
1
cos
(
θ
)
}
\mathrm{d} H_{T}(f, t)=\frac{k v \times e^{j 2 \pi \frac{D_{2}}{\lambda}}}{\left(D_{1}\right)^{2}\left\{1+\left(\frac{v t}{D_{1}}\right)^{2}-2 \frac{v t}{D_{1}} \cos (\theta)\right\}}
dHT(f,t)=(D1)2{1+(D1vt)2−2D1vtcos(θ)}kv×ej2πλD2对该方程的物理解释是：计算在臂伸长/缩回一小段距离时，由于小表面积引入/移除反射而导致的时间t、子载波频率f处总CFR的变化。在这种情况下如果知道初始位置
D
1
D_{1}
D1、θ，就能获得上述微分结果。实践中可以利用CSI流的差分近似微分结果。
如果仅利用幅度信息，有振幅差分模型：
∥
d
H
T
(
f
,
t
)
∥
=
k
v
(
D
1
)
2
{
1
+
(
v
t
D
1
)
2
−
2
v
t
D
1
cos
(
θ
)
}
\left\|\mathrm{d} H_{T}(f, t)\right\|=\frac{k v}{\left(D_{1}\right)^{2}\left\{1+\left(\frac{v t}{D_{1}}\right)^{2}-2 \frac{v t}{D_{1}} \cos (\theta)\right\}}
∥dHT(f,t)∥=(D1)2{1+(D1vt)2−2D1vtcos(θ)}kv
1.2.2 非线性手势
将非线性运动等价为一小段一小段的直线运动，引入用户的面向方向
Θ
\Theta
Θ，短时间内非线性运动可视为匀速，有
d
=
v
×
Δ
t
d=v \times \Delta t
d=v×Δt，类比方程
(
D
2
)
2
=
(
D
1
)
2
{
1
+
(
d
D
1
)
2
−
2
d
D
1
cos
(
θ
)
}
\left(D_{2}\right)^{2}=\left(D_{1}\right)^{2}\left\{1+\left(\frac{d}{D_{1}}\right)^{2}-2 \frac{d}{D_{1}} \cos (\theta)\right\}
(D2)2=(D1)2{1+(D1d)2−2D1dcos(θ)}可得：
(
D
i
)
2
=
(
D
i
−
1
)
2
{
1
+
(
d
D
i
−
1
)
2
−
2
d
D
i
−
1
cos
(
θ
i
+
Θ
)
}
\left(D_{i}\right)^{2}=\left(D_{i-1}\right)^{2}\left\{1+\left(\frac{d}{D_{i-1}}\right)^{2}-2 \frac{d}{D_{i-1}} \cos \left(\theta_{i}+\Theta\right)\right\}
(Di)2=(Di−1)2{1+(Di−1d)2−2Di−1dcos(θi+Θ)}此时将
t
i
t_i
ti表示为物体移动
i
i
i个路径分段的时间，i.e.,
t
i
=
i
×
Δ
t
t_{i}=i \times \Delta t
ti=i×Δt，在已知
D
1
D_{1}
D1, all
θ
i
,
Θ
,
k
和
v
\theta_{i}, \Theta, k和v
θi,Θ,k和v时,可以计算所有分段上的
D
i
D_i
Di：
∥
d
H
T
(
f
,
t
i
)
∥
=
k
v
(
D
i
)
2
{
1
+
(
d
D
i
)
2
−
2
d
D
i
cos
(
θ
i
+
Θ
)
}
\left\|\mathrm{d} H_{T}\left(f, t_{i}\right)\right\|=\frac{k v}{\left(D_{i}\right)^{2}\left\{1+\left(\frac{d}{D_{i}}\right)^{2}-2 \frac{d}{D_{i}} \cos \left(\theta_{i}+\Theta\right)\right\}}
∥dHT(f,ti)∥=(Di)2{1+(Did)2−2Didcos(θi+Θ)}kv上述方程描述了手臂位置微小变化时CSI微分的模和位置参量的关系。假设采样频率为100Hz，那么连续CSI测量的时间间隔就是10ms，利用极坐标转换可得手臂移动最快的点移动的距离大致为2cm（PS：1ft（英尺）= 0.3048 米）
1.3 手势翻译
∥
d
H
T
(
f
,
t
i
)
∥
=
k
v
(
D
i
)
2
{
1
+
(
d
D
i
)
2
−
2
d
D
i
cos
(
θ
i
+
Θ
)
}
\left\|\mathrm{d} H_{T}\left(f, t_{i}\right)\right\|=\frac{k v}{\left(D_{i}\right)^{2}\left\{1+\left(\frac{d}{D_{i}}\right)^{2}-2 \frac{d}{D_{i}} \cos \left(\theta_{i}+\Theta\right)\right\}}
∥dHT(f,ti)∥=(Di)2{1+(Did)2−2Didcos(θi+Θ)}kv该式中，如果将
∥
d
H
T
(
f
,
t
i
)
∥
\|\mathrm{d} H_{T}\left(f, t_{i}\right)\|
∥dHT(f,ti)∥写为子载波中心频率f、时间
t
i
t_i
ti和配置X的函数
V
(
f
,
t
i
,
X
)
V\left(f, t_{i}, X\right)
V(f,ti,X)，做个等式变换有：
V
(
f
,
t
i
,
X
)
×
(
D
i
X
)
2
k
X
v
{
1
+
(
d
D
i
X
)
2
−
2
d
D
i
X
cos
(
θ
i
X
+
Θ
X
)
}
=
1
V\left(f, t_{i}, X\right) \times \frac{\left(D_{i}^{\mathrm{X}}\right)^{2}}{k^{X} v}\left\{1+\left(\frac{d}{D_{i}^{\mathrm{X}}}\right)^{2}-2 \frac{d}{D_{i}^{\mathrm{X}}} \cos \left(\theta_{i}^{\mathrm{X}}+\Theta^{X}\right)\right\}=1
V(f,ti,X)×kXv(DiX)2{1+(DiXd)2−2DiXdcos(θiX+ΘX)}=1所以从配置A下转化为配置B存在如下等式：
V
(
f
,
t
i
,
B
)
=
V
(
f
,
t
i
,
A
)
×
k
B
(
D
i
A
)
2
{
1
+
(
d
D
i
A
)
2
−
2
d
D
i
A
cos
(
θ
i
A
+
Θ
A
)
}
k
A
(
D
i
B
)
2
{
1
+
(
d
D
i
B
)
2
−
2
d
D
i
B
cos
(
θ
i
B
+
Θ
B
)
}
\begin{aligned} &V\left(f, t_{i}, B\right)=V\left(f, t_{i}, A\right) \times &\frac{k^{B}\left(D_{i}^{\mathrm{A}}\right)^{2}\left\{1+\left(\frac{d}{D_{i}^{\mathrm{A}}}\right)^{2}-2 \frac{d}{D_{i}^{\mathrm{A}}} \cos \left(\theta_{i}^{\mathrm{A}}+\Theta^{A}\right)\right\}}{k^{A}\left(D_{i}^{\mathrm{B}}\right)^{2}\left\{1+\left(\frac{d}{D_{i}^{\mathrm{B}}}\right)^{2}-2 \frac{d}{D_{i}^{\mathrm{B}}} \cos \left(\theta_{i}^{\mathrm{B}}+\Theta^{B}\right)\right\}} \end{aligned}
V(f,ti,B)=V(f,ti,A)×kA(DiB)2{1+(DiBd)2−2DiBdcos(θiB+ΘB)}kB(DiA)2{1+(DiAd)2−2DiAdcos(θiA+ΘA)}
所以说，在提供配置A的情况下，想要获得配置B的
WiAG needs the values of the configuration parameters (
D
1
D_1
D1 and
Θ
Θ
Θ), proportionality constant (
k
k
k), shape parameters (all
θ
i
θ_i
θi), and speed (
v
v
v) at both configurations A (where the user provided training samples) and B(the desired configuration).
PS：训练集是配置A，通过A生成B出的虚拟CSI样本，然后将B出的实际CSI样本对比匹配。
1.3.1 配置A处的参数估计
- 配置参数 D 1 A , Θ A D_{1}^{\mathrm{A}}, \Theta^{\mathrm{A}} D1A,ΘA和属性常量 k A k^A kA这些会在后续的配置估计方案中细讲。
- 训练集的形状参数 θ i A \theta_{i}^{\mathrm{A}} θiA和速度参数 v v v可以利用智能手机上的自机载惯性测量单元(inertial measurement unit，IMU)的测量应用标准算法，计算手部沿所有三个轴的方向和位移大小，并获得所有 θ i A \theta_{i}^{\mathrm{A}} θiA的值和 v v v的值
1.3.2 配置B处的参数估计
- 配置参数 D 1 B , Θ B D_{1}^{\mathrm{B}}, \Theta^{\mathrm{B}} D1B,ΘB和属性常量 k B k^B kB这些会在后续的配置估计方案中细讲。
- 在配置B处使用与配置A处相同的形状参数值和速度参数，即，∀i， θ i B = θ i A \theta_{i}^{\mathrm{B}}=\theta_{i}^{\mathrm{A}} θiB=θiA， k i B = k i A k_{i}^{\mathrm{B}}=k_{i}^{\mathrm{A}} kiB=kiA，尽量手势的形状在虚拟样本中保持不变
1.3.3 手势翻译函数的应用
利用A处收集的手势样本，在B处生成虚拟手势样本：WiAG首先估算所有的配置参数，然后利用A的CSI差分计算B的CSI差分流。
2. WiAG的框架
实验验证得到，位置的变化12
f
t
ft
ft和方向的变化45°并不会对手势识别的准确性产生重大影响。所以可以再虚拟网格的交点位置生成分类模型，每个网格方形边长不超过12
f
t
ft
ft，每个位置至少8个方位的训练样本。
WiAG通过4步实现构建分类模型：
- CSI流的处理：1) PCA；2)巴特沃斯滤波；3)差分，三步处理CSI流成dpc（differentiated principal component）流，然后通过阈值方法识别手势的起止时间。
- 在收集任何训练样本之前，WiAG要求用户首先在配置中执行一个前导手势，用户将提供训练样本。WiAG利用来自前导手势的dpc流，通过求解之前推导的CFR模型来估计配置参数和比例常数。
- 手势翻译：使用第二步得到的参数值，以及IMU得到的形状参数和速度的值，在第一步，WiAG将从dpc -stream中提取的每个手势的每个样本翻译，生成所有配置下的手势的虚拟样本。
- 对于每个配置，WiAG从第三步中获取该配置中所有手势的虚拟样本，并从中提取相应的特征。利用这些特征进行基于神经网络的分类。注意，WiAG只对给定环境中的每个配置应用第三和第四步。第一步和第二步只对训练数据应用一次.
2.1 CSI流处理
2.1.1 降噪处理
CARM[2015 Understanding and modeling of wifi signal based human activity recognition]建议使用PCA第二和第三个主成分进行进一步处理——噪音少，同时清楚地捕捉到人类的动作。
2.1.2 基于阈值检测的手势起止时间识别
利用了dpc流的振幅信息：
具体阈值设置细节见原文。
2.2 配置评估
在本节中解释WiAG如何估计配置参数(
D
1
a
n
d
Θ
D_1andΘ
D1andΘ)和比例常数(
k
k
k)。
用户在静止后做两个前序手势推动作，WiAG将第一个手势作为前序手势，将第二个手势作为常规手势。利用线性条件下的公式：
∥
d
H
T
(
f
,
t
)
∥
=
k
v
(
D
1
)
2
{
1
+
(
v
t
D
1
)
2
−
2
v
t
D
1
cos
(
θ
)
}
\left\|\mathrm{d} H_{T}(f, t)\right\|=\frac{k v}{\left(D_{1}\right)^{2}\left\{1+\left(\frac{v t}{D_{1}}\right)^{2}-2 \frac{v t}{D_{1}} \cos (\theta)\right\}}
∥dHT(f,t)∥=(D1)2{1+(D1vt)2−2D1vtcos(θ)}kv估计配置参数和比例常数。上式通过二阶展开近似为：
∥
d
H
T
(
f
,
t
)
∥
≈
k
v
(
D
1
)
2
{
1
+
(
2
v
D
1
cos
(
Θ
)
)
×
t
−
(
v
2
D
1
2
(
1
−
4
cos
2
(
Θ
)
)
)
×
t
2
}
\begin{aligned} \left\|\mathrm{d} H_{T}(f, t)\right\| \approx & \frac{k v}{\left(D_{1}\right)^{2}}\left\{1+\left(2 \frac{v}{D_{1}} \cos (\Theta)\right) \times t\right.\\ &\left.-\left(\frac{v^{2}}{D_{1}^{2}}\left(1-4 \cos ^{2}(\Theta)\right)\right) \times t^{2}\right\} \end{aligned}
∥dHT(f,t)∥≈(D1)2kv{1+(2D1vcos(Θ))×t−(D12v2(1−4cos2(Θ)))×t2}近似的思想：
- ( v t D 1 ) 2 < 2 v t D 1 cos ( θ ) \left(\frac{v t}{D_{1}}\right)^{2}<2 \frac{v t}{D_{1}} \cos (\theta) (D1vt)2<2D1vtcos(θ)
- v t < < D 1 vt << D_1 vt<<D1
实际测量的dpc经过n=8的高阶线性拟合，其多项式系数满足： a 0 = k v ( D 1 ) 2 , a 1 = k v ( D 1 ) 2 ( 2 v D 1 cos ( Θ ) ) a 2 = − k v ( D 1 ) 2 ( v 2 D 1 2 ( 1 − 4 cos 2 ( Θ ) ) ) \begin{aligned} &a_{0}=\frac{k v}{\left(D_{1}\right)^{2}}, \quad a_{1}=\frac{k v}{\left(D_{1}\right)^{2}}\left(2 \frac{v}{D_{1}} \cos (\Theta)\right) \\ &a_{2}=-\frac{k v}{\left(D_{1}\right)^{2}}\left(\frac{v^{2}}{D_{1}^{2}}\left(1-4 \cos ^{2}(\Theta)\right)\right) \end{aligned} a0=(D1)2kv,a1=(D1)2kv(2D1vcos(Θ))a2=−(D1)2kv(D12v2(1−4cos2(Θ)))从基于IMU的技术中知道了v，之后三个方程三个未知数。注意，MIMO中，这些参数对每一个CSI流得到的参数取了平均。
2.3 分类模型
WiAG为每种配置下的手势都建立分类模型，在任何给定配置中构建分类模型的过程本质上只涉及从该配置中的虚拟样本中提取特征。在配置参数得到后通过DWT提取虚拟手势特征。利用这些特征输入神经网络生成分类模型。
3. 实施和评估
略
345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
