基于4D毫米波雷达的人体感知技术文献阅读笔记

文章标题：《A Survey of mmWave-based Human Sensing: Technology, Platforms and Applications》

        随着物联网（IoT）的快速发展，以及5G通信网络和自动驱动的兴起，毫米波（mmWave）传感技术正在出现，并开始影响我们的生活和工作空间。mmWave传感可以以非接触式的方式感知人和物体，提供细粒度的感知能力。在过去的几年中，许多毫米波传感技术被提出并应用于各种人体传感应用（例如，人体定位、手势识别和重要监测）。

        近年来，毫米波（mmWave）传感器发展迅速，引起了广泛的关注，促进了毫米波传感技术的出现。mmWave信号工作在一个高频（30-300 GHz）和一个较大的带宽。因此，它可以提供较高的传感灵敏度和精度。短波长的短波信号进一步使天线高度集成，使波束形成和其他技术支持定向传感能力。因此，与Wi-Fi、UWB和LoRa等低频传感技术相比，毫米波传感在人类传感方面具有很大的优势。

        下表是毫米波硬件设备的比较：

         此外，许多研究人员打算通过构建定制的实验平台，如mmWave软件无线电、毫米波雷达等平台，为mmWave传感和协议开发开辟新的方向，并支持面向系统的研究。

 

        如上所示，已经有许多mmWave设备或定制平台来提供可靠的数据源来支持各种传感任务。不同的mmWave硬件和平台具有不同的信号带宽、载波频率、天线布置和传输功率，可以提供不同的感知范围、感知粒度和感知尺寸，而如何选择合适的平台是实现特定任务的先决条件。

        例如，与生命相关的运动非常小，它的感知要求感知精度甚至高达亚毫米。因此，重要的传感任务应该使用高载频、大带宽的毫米波设备。此外，人体成像需要目标的二维空间信息，这就需要雷达提供相应的二维传感能力。在这种情况下，这些雷达与接收天线的线性排列的天线不能满足要求。在FMCW雷达方面，虽然各种雷达被用于不同的传感任务，但大多数天线的数量是有限的。这导致了有限的角度分辨率和不足的点云输出，导致实际应用脆弱的鲁棒性。因此，开发人员在设计未来的雷达时应注意这些指标。

A.  人体感知

        基于mmWave的人体感知的一般流程图如下：mmWave收发器总是周期性的毫米波信号，并连续接收反射信号。接收到的信号由混频器进行下转换，并由ADC进行采样。然后，可以捕获这些样本并将其转换为原始数据（数据捕获）。原始数据被进一步处理成各种信号形式，以完成不同的感知任务。采用了一些去噪技术来抵抗环境干扰（信号预处理）。为了从mmWave信号中获取与人类相关的信息，可以提取和分析各种特征（特征提取）。此外，根据不同的感知任务，需要将与任务相关的特征输入到不同的模型中，以进行精确的感知（感知模型）。最后，可以实现感知任务（感知任务）。

B．数据获取

        为了实现精确的基于毫米波的人体感知，原始数据必须仔细捕获和处理原始数据。根据数据源的差异，我们将数据捕获分为基于FMCW雷达的数据捕获和基于24/60 GHz探头的数据捕获两类。我们将在下面分别介绍它们。 

1. 基于FMCW雷达的数据采集: 毫米波雷达通常周期性地发送FMCW-chirp信号，用于距离和速度的测量。如上图所示，发射信号与接收信号之间的频率差对应于信号的传播时间，可以用来确定目标距离。
2. 基于24/60 GHz探头的数据采集：与利用拍频信号定位传感目标的mmWave雷达不同，mmWave探测利用发射天线和接收天线之间的信道脉冲响应（CIRs）来确定目标的位置。CIR的时延表示信号的传播时间，可以用来确定目标的距离。

C. 信号预处理

        数据捕获模块后，原始数据需要处理成不同的信号形式，以完成不同的传感任务。我们首先介绍每种信号形式，以实现进一步的人类感知。然后讨论了一些抗环境干扰的去噪技术。

1） 信号形式：毫米波数据的信号形式包括距离角度谱、距离多普勒谱、相位波形、点云等。人们可以根据自己的感知任务来选择合适的信号形式。例如，距离-角度谱适用于人体跟踪，而相位波形可用于生命传感。下面，我们将分别介绍每个信号形式。

a. RA-MAP && RD-MAP

b. 相位向量：为了进一步表征人体的微位移，可以从范围角谱中提取一系列相位值，或直接从范围角FFT结果中提取一系列相位值，形成相位波形。由于反射信号的相位表示反射器的微位移，相位波形可以用于细粒度的人体感知，如生命感知。

c. 点云数据

2）信号去噪：讨论前面提到的每种信号形式的一些信号去噪技术，以抵抗环境干扰。

a. CFAR &频谱减法：对于范围角频谱和距离多普勒频谱，没有人的区域存在大量来自静态物体的背景噪声和多路径干扰。这些噪音混淆了人体的定位，需要适当地去除。有许多背景噪声消除技术，如CFAR和频谱减法。CFAR是一种经典的自适应算法，用于检测针对环境噪声的目标。它自适应地选择一个噪声阈值水平来检测带有对象的箱子。频谱减法算法是另一种消除背景噪声的有效方法。其主要思想是从噪声测量中减去平均背景噪声的估计。

b. 拟合和滤波：对于相位波形，由于来自人所在区域的反射信号不仅包括人反射信号，还包括来自同一区域其他物体反射的信号，因此从这些反射信号中提取的相位值失真。研究人员提出了一些解决这一问题的方法，如对反射信号进行圆拟合算法或线拟合算法，对相位波形应用FIR滤波器或带通滤波器等。

c. 聚类：对于点云，由mmWave雷达产生的稀疏点云被分散，噪声可以显著。一些数据聚类算法已经被用来确定哪些点是由来自人类的反射引起的。例如，利用DBSCAN聚类算法和K-均值聚类算法将这些点合并为聚类，从噪声中分离出这些与人类相关的点。

3) 比较：由于不同的信号预处理技术适用于不同的感知任务，我们根据其适用的感知任务进行比较。在人类定位和运动识别中，距离角度和点云通常被用来表示环境反射，包括人类的位置和姿态。在这种情况下，CFAR、频谱减法和聚类可以帮助去除静态物体的背景噪声和多路径干扰，从而帮助我们专注于来自人体的反射信号。而在生物特征测量中，相位波形的选择是因为其独特的表征微运动的独特能力。与CFAR和聚类相比，拟合和滤波更适合用于时间序列数据。在人体成像中，可以选择点云和距离角度谱。前者更明显，后者包含更多的空间信息。相反，相位波形很少被考虑，因为在人类成像中很少有人关注微小的运动。

D. 特征提取

        根据不同的感知任务，需要从去噪信号中提取各种特征。时域分析和频域分析是基于毫米波的人体感知中广泛应用的两类特征提取方法。前者侧重于分析其周期性，信号在时域内的持续时间、振幅等特征，而后者主要提取频率特征，包括频谱、周期性、功率谱等。

1. 时域分析：利用一些时域分析技术来获得信号周期或分离多个信号的叠加。例如，模板匹配算法已被用于感知人体的生命值，以获得心率和呼吸频率。一些信号分解技术，如变分模态分解算法（VMD）和经验模态分解算法（EMD），已经被用来从反射信号中分离出生命信号波形。例如，mmHRV将由反射的毫米波信号产生的胸部运动视为呼吸信号、心跳信号和其他运动信号的线性叠加。mmHRV将每个信号作为一个固有模态函数（IMF）分量，利用VMD算法实现信号分解，提取纯心跳信号。
2. 频域分析：与频域特征相比，频域特征往往更稳定和可区分。许多特征域分析技术已被用来抵抗各种噪声和提取区分特征。例如，研究人员利用傅里叶变换和小波变换技术来精确提取生命符号特征。此外，短时傅里叶变换（STFT）和一些频率域特征，如残差相位倒谱系数（RPCC）和Mel频率倒谱系数（MFCC），已被用来实现声音识别或运动识别。例如，SPARCS 等人采用STFT算法提取人体运动的微多普勒频谱。SPARCS通过将较长的反射信号分割成较短的段，并分别计算其傅里叶变换，可以同时提取时频特征，实现准确的活动识别。

E. 感知模式

        虽然感知任务依赖于应用程序，但研究人员需要建立一个合适的模型来获得以提取的特征或mmWave信号作为输入的感知结果。为简单起见，常用的模型可以分为两类：基于领域知识和基于深度学习。前者强烈地依赖于专家的经验。相反，后者是数据密集型的，需要大量的数据。下面将详细描述这两者。

1. 基于领域知识的模型：对于一些周期性或简单的预定义运动，每个运动都表现出特定的物理特征。研究人员可以通过分析信号或引入特定领域的知识，如人类学和物理学，轻松地构建特定任务的模型，将上述提取的特征转换为不同的运动。

        例如，步态是一种重复的运动，其周期可分为八个阶段（例如，脚跟打击、脚平、中站立、中摆动等）。步态的特征，如速度、步长、步长等，可以通过寻峰、模式匹配等技术来计算。此外，基于所建立的模型，研究人员可以利用传统的机器学习技术（如随机森林、决策树和支持向量机）。但该方法的泛化能力较差，只能用于简单或特定的任务。此外，其性能还受到研究者的领域知识的限制。

2. 基于深度学习的模型：与依赖于手工特征的基于领域知识的模型不同，由于具有强大的特征表示能力，基于深度学习的模型可以直接从mmWave信号（如谱图、点云）中自动提取不同任务的特征。

        其中，卷积神经网络（CNNs）和递归神经网络（RNNs）通常分别用于学习空间关系和时间依赖关系。例如，RF-SCG 应用了一种基于CNN的体系结构来从反射信号中恢复SCG波形。然而，这些方法需要大量的高质量的数据才能获得准确的模型。为了解决这个问题，许多工作选择了生成对抗网络（GANs），通过依赖于信号传播模型或与任务相关的物理模型来增强样本。例如，MILLIEAR直接使用条件生成对抗网络（cGAN）来增强音频组件和降低噪声。此外，MilliPose利用cGAN架构从低分辨率的3D mmWave信号中生成高分辨率的2D全身剪影图像

3. 比较：我们比较这两种方法如下：

         (1)基于领域知识的方法可以利用领域知识和数学原理来推导和实现信号表示。此外，它们还可以预测处理技术的性能局限性和鲁棒性。然而，它们可能难以处理需要高级数学工具或假设的非线性、有噪声或不确定的信号，从而导致较低的灵活性或可伸缩性。

        (2)基于深度学习的方法可以从数据中学习，适应不断变化的情况，优化系统性能，并智能滤波信号。此外，它们可以处理以前的方法可能很困难的复杂和高维数据。尽管如此，深度学习仍然需要大量的标记数据、计算资源和人类专业知识来训练和部署有效的模型。此外，如果数据不具有代表性或不充分，它们还可能出现过拟合、过拟合或偏差问题。

F. 总结

        如本节所述，从数据捕获到传感模型，已经有许多性能良好的信号处理技术。因此，如何为传感管道中的每一步选择合适的技术，成为实现预设传感任务的关键。粗略地说，在执行人类成像和手势识别等与轮廓相关的感知任务时，经常会选择点云和基于深度学习的感知模型。其原因是，基于深度学习的感知模型常被用于实现超分辨率检测或精确的多类分类。此外，点云由于其三维离散点特征，适合用于成像任务。执行时微运动相关的感知任务，如重要的感知和声音识别，相位波形和频域分析经常被考虑。其原因在于相位波形能够表示微小的位移，以及在这些感知任务中对频域特征的要求。总之，建议人们利用最合适的技术来获得更好的传感结果。

        人体运动识别在广泛的现实应用中扮演着重要的角色。由于反射的mmWave通常携带大量的人体信息，mmWave感知可以很好地识别人体运动。不仅可以区分人类的活动或手势，而且还可以准确地跟踪笔迹。我们在下表中总结了相关的工作。

        mmWave成像系统发出人工生成的信号来照亮目标物体，通过来自目标的反射信号，可以根据反射率分布重建二维/三维图像。与现有的视觉、红外和x射线成像系统不同，mm波信号可以穿透衣服，并在低能见度的条件下工作。由于其更高的隐私性和毫米尺度的测距分辨率，基于mmwave的成像已被广泛应用于姿态/姿态跟踪、自动驾驶、安全问题等。我们在下表中总结了相关的工作。 

结论：随着5G网络和自动驱动的发展，毫米波传感越来越受欢迎。本调查的重点是基于毫米波的人类感知的最新研究进展。本研究介绍了mmWave传感的各种硬件和关键技术，回顾了现有的基于不同传感任务的mmWave传感工作，即人体跟踪和定位、运动识别、生物特征测量和人体成像。我们进一步讨论了潜在的挑战和未来的发展方向，包括硬件和平台，增强了适用性，新的传感方案，以及与新媒体的集成。