基于毫米波的远距离手势识别

背景介绍

基于毫米波的远距手势识别可应用于智能家居、智能音箱等物联网设备应用场景下：当用户在远处做某些特定的手势时，实时系统可以自动识别并响应该手势。

该研发的基本原理是系统通过毫米波在身体上的反射信号来采集每一瞬间人体的动作行为，并学习信号随时间变化与这些行为之间的匹配关系，从而获得对不同手势的识别能力。

因此，该研发可以实现很多便捷有趣的用户体验：例如，用户站在卧室中央挥手，窗帘将自动关闭/打开；用户在书房一侧在空中连敲两下，音箱将自动切换背景音乐，为用户提供一个更加适宜办公的环境。

除此以外，本文关注于应用在手机的自拍功能，即，用户将手机放置在远处，通过几个预先定义好的手势来操作手机，从而实现远焦自拍/远焦合拍等等。

整体架构

如图所示，毫米波设备先发射天线发射毫米波信号，信号被用户的肢体动作反射，反射信号被毫米波接收天线捕获。之后，毫米波设备将捕获信号进行处理，获得信号的位置信息X、Y、Z，以及Doppler和Intensity的信息，并将这些信息输入神经网络进行学习，通过学习后对用户新动作进行分类预测。这一过程的进一步描述如下：

1)TI-IWR1443毫米波雷达为我们所使用的毫米波发送及接收装置。该设备可以将原始FMCW信号进行预处理后，得到一个帧序列信号，每一帧存在不超过64四个点，每个点有X、Y、Z、Doppler、Intensity，这五种特征值。之后将数据拟合成新的Range-Doppler图进行数据预处理，再提取出新的特征值。

2)利用ResNet神经网络对这些新的特征值进行学习和分类的过程在python中实现，并保存准确度最高的网络模型。

3)由Matlab调用导入好准确度最高的网络模型的python脚本，对新手势的预测，并返还给Matlab一个预测分类结果值。

4)最后，Matlab调用toCamera模块控制相机。每当一个新手势完成分类预测之后，Matlab就会给toCamera发送一个值，根据这个值，toCamera来控制相机进行不同的操作。