无线感知之手势识别模型：Widar 3.0（内含源码和数据集地址）

目录

一、前言

二、无线感知

三、国内的一些工作

四、WiFi 手势识别模型：Widar 3.0

---

一、前言

最近不少人吐槽WiFi CSI定位已经做无可做了，也发不了什么好的期刊，顶多冲一个SCI 2区。回首WiFi 指纹定位这块，RSS指纹定位已经发展20余年，CSI指纹这块也有10余个年头了，很多定位模型或者方法确实已经烂大街了，想要有所创新难度不小。WiFi除了做定位还可以做感知，今天我想和大家聊一聊无线感知这块内容，这块也是商用化比较广泛、实用性比较高、研究热度比较大的板块之一。

二、无线感知

无线感知指的是使用日常通信的无线信号，例如WiFi，5G等，实现对环境的感知。这些通信信号之所以能用来感知，是因为信号发射机产生的无线电波，在信号接收机处形成的多径叠加信号，能够携带反映环境特征的信息。“相比于视觉感知，目前无线感知被了解的太少，需要其他领域的研究人员共同推进技术进步与产业化”，杨铮教授如是说。无线感知作为一种非接触式的感知方式，也有很多潜在应用，例如安防场景中的入侵检测、医疗场景中的睡眠检测、跌倒检测、呼吸检测，以及包括手势识别、键盘输入、口型识别等。

三、国内的一些工作

在无线感知这块，比较出名的有清华大学的杨铮、清华大学的吴陈沭、北京大学的张大庆等。吴陈沭师从刘云浩教授，刘云浩也是比较传奇的人物（校园男神老师），写小说、做研究等无所不能，感兴趣的可以了解一下。杨铮、吴陈沭是一个研究团队，他们在无线感知这块发了大量的顶刊，包括有跌倒检测、手势识别等。吴陈沭研究的方向从室内定位出发，到物联网领域里的无线感知，提出的很多新技术在领域里脱颖而出， 最终成功应用在了量产的商业产品中，有些如今在亚马逊就能购买到。吴陈沭在清华做辅导员的时候，就带着学生做了大量的实验，这也是他起初做这块成功的关键。杨铮、吴陈沭团队在widar3.0工作中构建了一个无线射频信号的手势识别数据集，包括在75个环境中采集的接近26万组手势动作，持续时间8620分钟，大小为325GB（这也是本文要介绍的）。此外，它所包含的数据特征也是非常丰富的，既包括WiFi(CSI)的原始信息，也包括在此基础上提取的更高阶特征，例如DFS和BVP等，它所包括的动作种类也是最丰富的。北京大学张大庆教授比较关注养老医疗方向，主要致力于呼吸检测、睡眠检测等。并且张大庆团队将菲涅尔区模型和信号干涉原理相结合，引入到无线感知的研究中。通过引入菲涅尔区模型，张大庆团队展示了物体在不同位置、朝向活动时接收信号模式与波长间的内在联系。在将菲涅尔区模型应用到Wi-Fi检测人体呼吸和室内行走的研究时，张大庆团队还进一步发掘了Wi-Fi多天线、多载波的性质。

四、WiFi 手势识别模型：Widar 3.0

基于Wi-Fi的手势识别系统虽然在特定的数据域上具有良好的性能，但如果没有对新数据域的明确适应努力，实际上仍然难以使用。人们提出了各种开创性的方法来解决这一矛盾，但当新的数据域出现时，数据采集或者模型再训练仍然需要额外的训练花销。为了推进跨域识别，实现完全零开销识别，杨铮、吴陈沭团队提出了一种基于Wi-Fi的跨域零开销手势识别系统Widar3.0。

Widar3.0的关键是在较低的信号水平上推导和提取人类手势的域独立特征，这些特征代表了手势的独特动力学特征，并且与域无关。在此基础上，他们开发了一个通用模型，只需一次训练就可以适应不同的数据域。

Widar3.0是一个使用现成的Wi-Fi设备的跨域手势识别系统。如下图所示，在监控区域周围部署了多个无线链路。在接收机处被用户扭曲的无线信号，并记录其CSI测量值并进行预处理，以消除振幅噪声和相位偏移。

 Widar3.0的主要部分是两个模块，BVP生成模块（BVP generation module）和手势识别模块（gesture recognition module）。

在接收到纯净的CSI序列后，Widar3.0将CSI序列分成若干小段，并通过BVP生成模块为每个CSI段生成BVP。Widar3.0首先准备了三个中间结果： DFS配置文件、人的方向和位置信息。通过对CSI序列应用时频分析来估计DFS剖面。

通过运动跟踪方法计算出人的方向和位置信息。然后，Widar3.0应用所提出的基于压缩感知的优化方法来估计每个CSI段的BVP。然后输出BVP序列用于后续的手势识别。

该手势识别模块实现了一个用于手势识别的深度学习神经网络（DNN）。以BVP序列作为输入，Widar3.0对每个BVP和整个序列执行归一化，以消除实例和人员的不相关变化。然后，将归一化的BVP序列输入到一个时空DNN中，它有两个主要功能。首先，DNN使用卷积层提取每个BVP内的高级空间特征。然后，采用循环层对BVP之间的相互特征进行时间建模。在手势分类模块之前，对DNN的输出应用了一种新的离群值检测算法来证明所执行的手势的合法性。任何超出预定义手势集的手势都将被报告为非法的，并且不会被分类。最后，DNN的输出用于指示用户所执行的手势的类型。原则上，Widar3.0可以实现零努力跨域手势识别，只需要对DNN网络进行一次训练，但可以直接适应许多新的域。

Widar3.0源码以及数据集地址：Widar3.0

本文参考论文：

《Widar3.0: Zero-Effort Cross-Domain Gesture Recognition With Wi-Fi》

《DeFall: Environment-Independent Passive Fall Detection Using WiFi》