A Hybrid Computer Vision and Wi-Fi Doppler Radar System for Capturing the 3-D Hand Gesture Trajector

摘要

文章提出一种3D手势捕获技术，是将2D相机数据和WIFI接收信号结合的一种技术。应用了计算机视觉和多普勒频移，可以用一个手机和WIFI AP和雷达来实现。

Introduction

Introduction部分介绍了几种手势识别的方法，如Microsoft Kinect,
Intel RealSense and Leap Motion应用3D相机和红外传感器；Google’s Project Soli和MIT’s RF Capture；还有WiSee系统和injection-locked quadrature receiver方法，但这两种只能识别1D信息。

Methodology

计算机视觉手势探测

首先介绍2D动目标识别算法：使用一个静态模型来描述不动的背景信息，然后把图象中（多组图象）不匹配模型的像素点提取出来。高斯混合模型（Gaussian mixture model）：像素点的取值（区间值不是像素值）概率是高斯分布的混合，公式下：

Wi表第i个分布权重 gi（x）公式下：

通过一段时间的背景图像的训练后得到高斯模型，然后将带有动目标的图象输入模型就可以得到动目标像素，模型实时更新，就可以得到整个运动目标。（不知这么理解对不对）。
通过这种方法得到的是横向移动即上下左右移动。

WiFi多普勒频移手势探测

这种方法可以得到前后移动。
总系统包括手机、WiFi AP、雷达。雷达结构下图：

WiFi signal进到 Coupler中经BPF传到天线然后辐射出去，接到回波将回波和WiFi signal耦合输到后面ILO（提取载波）和LNA（低噪放大器），然后出道解调器进行解调得到IQ两路信号。解调器（quadrature
mixer）输入数据分别为：

具体符号含义查原文。
最后得到多普勒相位：

推的动作Q路相位超前I路，拉的动作相反，经计算可得实际移动距离Z（怎么计算并没有说 ）。

3D校准

为了吧移动的像素点数转换成实际距离，先定义了一个角度theta = 75度，然后手沿这个角度移动，得到z距离然后根据公式得到系数，然后就可以计算实际距离了：

得到的系数是一个随z变化的量：

实测系数从0.0179到0.0222。
疑问：手的移动可能会那么精确的就是75度吗？

结论

论文很多细节没有交代清楚，有些地方不是太严谨，想法还可以，需要外部雷达的配合，应用的前景应该是不大。为什么要用wifi信号，为什么不自己做一个信号产生模块。