Human Activity Classification Based on Micro-Doppler Signatures Using a Support Vector Machine

Human activity classification based on micro-doppler signatures using a support vector machine（使用支持向量机基于微多普勒对人类活动进行分类）

摘要

基于微多普勒来识别不同的人类活动的可行性被研究了。数据是使用一个多普勒雷达来收集的，数据包含了12个人的7种活动。这7种活动分别是跑步、走路、拄着拐杖走路、爬行、前进时拳击、站立时拳击和静止不动。6个特征从多普勒频谱图中被提取。然后使用支持向量机对测量特征进行训练来对活动进行分类。使用决策树来进行多类分类。通过四重交叉验证找到SVM的最佳参数，最终分类精度大于90%。还研究并讨论了在较长时间范围内、通过墙壁、及在相对于雷达倾斜的角度对人类活动进行分类的潜在性。

关键词：人类活动分类，微多普勒，支持向量机，穿墙

Introduction

由于对物理安全和监视的需求不断增长， 雷达的新兴应用之一还在高度混乱的环境中对人们进行检测和跟踪。例如，使用电磁传感器穿墙对人进行定位并实时提取相关的活动信息。穿墙式人员监控的应用包括灾难搜索和救援，人身安全，执法和城市军事活动。

对于人类检测和跟踪传感器，已经有了大量的研究。一种方法是使用宽带实现近距离高分辨率成像。从对建筑物内部进行成像到最终在室内环境中检测并跟踪人类，[2] – [8]中报告了令人鼓舞的结果。另一个方法是使用多普勒雷达，基于多普勒的雷达适合检测运动并且会抑制背景中任何静止的杂波。使用现成的组件甚至是单芯片模块的低成本传感器已经很容易获得。 最后，多普勒从人类身上返回了一个非常独特而有趣的“微多普勒”特征。微型多普勒是由人类的非刚性身体运动产生的，并包含与人类运动有关的有价值的信息。 自从[9]中首次报道以来，已经出现了许多关于利用微多普勒进行人类分类的工作。例如，van Dorp [13]从调频连续波雷达数据估计了人的步态参数。Otero [14]设计了一个简单的分类器，使用光谱分析识别行走的人。在[15]-[17]中，通过各种时频分析提取了雷达目标返回的微多普勒特征。在[18]-[22]中，人们探索了微多普勒特征以区分人类，动物和交通工具。在本文中，我们提出了一个不同的研究问题，即是否有可能基于微多普勒特征来区分步行，奔跑，爬行等各种人类活动。对简单的人类活动的可靠识别可能是解决确定人类意图的更困难但重要的问题的第一步。

我们的方法是应用支持向量机（SVM），并使用测量的微多普勒数据进行训练，以对人类的活动进行分类。SVM是一个二元分类器，它构造了一个最大余量的超平面来分离类之间的数据[23] – [25]。由于它比其他分类方法（例如Fisher线性鉴别器和贝叶斯决策方法）优越的性能，它已被广泛用于许多不同的分类问题。在雷达界，支持向量机已应用于阵列信号处理[26]，[27]和雷达目标识别[28]，[29]问题。在本文中，我们考虑了七种不同的人类活动，例如跑步，走路，握着拐杖走路，爬行，前进时拳击，站立时拳击和静坐。 为了识别活动，使用短时傅立叶变换（STFT）检查时变多普勒信号，并从频谱图中提取不同的特征。基于提取的特征，构造一个SVM对七个活动进行分类。 为了生成训练数据，使用2.4 GHz多普勒雷达在实验室中收集了12个人的测量值[10]。要使用二进制分类器SVM来实现多类问题，采用基于决策树的结构。评估训练过程和由此产生的分类准确性。 还研究了每个功能的重要性。 最后，研究和讨论了在较长的时间内，通过墙壁以及相对于雷达倾斜的角度对人类活动进行分类的潜力。本文的组织如下。 第二节介绍了不同人类活动的测量数据收集。 第三部分讨论了频谱图的特征选择和提取过程。 在第四部分中，将介绍SVM的概念和培训结果。 第五节讨论了监视人员（包括穿墙人员）的其他一些问题。 第六节提出结论。

不同人类活动的测量

使用多普勒雷达测试台[10]收集了12位经历不同活动的人类受试者的测量数据。 雷达的工作频率为2.4 GHz。 发射器以连续波模式运行。 接收器包括连接到商用集成接收器板上的微带天线。安装天线是为了收集垂直极化数据。由于人体通常是垂直拉长的，因此使用垂直极化会导致更强的雷达回波。接收到的信号被下变频，然后数字化（以1 kHz），以进行离线处理。 在视线条件下在室内环境中执行测量。一次只测试一个人体对象，使该对象直接向雷达移动。 测量范围在2至8 m之间。

收集有关经历七种不同活动的人类受试者的数据，例如：（a）跑步，（b）行走，（c）握着棍子（双手）行走，（d）爬行，（e ）向前移动时进行拳击，（f）站立时进行拳击，并且（g）静止不动（轻微的坐立不安）。图1显示了所执行的活动。表I中给出了每个活动的说明。数据以6 s的间隔收集。然后将STFT应用于数据以生成相应的频谱图。 STFT中使用0.25秒的Kaiser窗口。 来自一个特定的人的七种活动的最终频谱图如图2所示。

如图2所示，频谱图显示了相当有趣和独特的图，具体取决于活动。 每个频谱图中最强的回波来自躯干，而围绕躯干返回的周期性微多普勒调制来自手臂和腿部运动。在所有活动中，由于躯干，跑步运动具有最高的多普勒频率，可以高达30 Hz。它还具有宽的多普勒信号扩展，可以高达120 Hz。步行运动显示出与跑步情况相似的多普勒形状，除了从躯干的最大多普勒频移较低（20 Hz），而微多普勒的周期较长。握着拐杖走路的情况与走路的情况相似，但是微多普勒频率展宽略窄。在爬行运动中，躯干多普勒几乎为零。 此外，频谱图显示，大多数微多普勒相对于躯干多普勒仪偏向正值。这是可以预期的，因为与之前的运动相反，爬行运动中没有回摆。在图2（f）站立运动的拳击中，清晰地观察到手臂的周期性微多普勒运动。在图2（e）中，向前运动的拳击除了具有正躯干多普勒分量外，还有来自胳膊的微多普勒。与正常的步行相比，很明显，由于快速的拳击运动，微多普勒分布非常宽。 坐着的人的躯干频率几乎为零，由于坐立不稳的动作，显示出零星的微多普勒。 多普勒信号的这些特征将在下一部分中提取。

特征提取和生成训练数据

A. 多普勒信号检测和特征提取

为了从频谱图中提取明显的多普勒特征，有必要将多普勒信号与噪声区分开。 一个关键问题是确定噪声阈值。 噪声（即不存在目标的接收信号）的信号强度的直方图如图3（a）所示。在图中，发现噪声具有类似高斯的分布。图3（b）显示了当存在人类多普勒信号时的直方图。因此，信号直方图开始偏离高斯型噪声分布的最低功率电平可以用作噪声阈值，从图中可以看出，该功率阈值为-83 dBm。通过使用此阈值，代表活动（站立时拳击）的频谱图得到处理，如图4所示。我们在这里注意到，尽管这种方法在当前的视线情况下效果很好，但在包含干扰，穿墙或多径效应的更复杂的环境中可能无法使用。接下来，从去噪的频谱图中提取不同的多普勒特征。 频谱图本身可以用作分类器的输入，而无需进行任何处理来识别不同的活动。然而，这样的高维数据将导致具有非常复杂的内部结构的分类器，从而导致巨大的训练过程。正确选择特征可以减小数据尺寸，同时保持微多普勒信号的基本特征。基于第二部分的初步观察，我们选择以下六个特征来表征微多普勒信号特征：（1）躯干多普勒频率，（2）多普勒信号的总带宽，（3）多普勒的总偏移量 （4）没有微多普勒的BW，（5）多普勒信号强度的标准化标准偏差（STD），以及（6）肢体运动的周期，其功能说明如图5所示。


躯干多普勒频率（1）对应于人体的速度。 人体躯干速度是非常基本但重要的信息，因为取决于不同的活动，躯干速度存在很大差异。多普勒信号的总BW（2）与肢体运动的速度有关。 手臂或腿的快速摆动会导致较大的BW。 总多普勒信号（3）的偏移量是四肢向前和向后运动之间不对称性的量度。如果在四肢前后移动时前后摆动完全对称，则此偏移量将与躯干速度相同。没有微多普勒（4）的BW代表单独的躯干的多普勒BW。 它负责人体执行活动时躯干的摆动运动。多普勒信号强度（5）的归一化STD与运动的动态范围有关。 例如，像跑步这样的大运动往往会在多普勒信号强度中具有较高的STD，而坐姿则具有较小的值。我们通过多普勒信号强度的平均值对STD值进行归一化，以消除人体与雷达之间距离的影响。 肢体运动的周期（6）与手臂和腿部的摆动速率相对应。

编写了Matlab例程，以通过在3秒的时间窗口内处理数据来自动提取这六个特征。 躯干多普勒频率（1）是窗口内各个时间段内强度峰值信号的平均频率。为了计算特征（2），（3），（4）和（6），首先确定两个信号包络。 每个时区的最高多普勒频率构成一个高频包络。 每个时间段的最低多普勒频率构成一个低频包络。BW（2）是高频包络的最大频率与低频包络的最小频率之间的平均差。多普勒频率（3）的偏移是高频包络的最大频率和低频包络的最小频率之间的平均值。没有微多普勒（4）的带宽是高频包络的最小频率和低频包络的最大频率之间的平均差。特征（5）是信号强度的STD除以频谱图中所有高于噪声的多普勒信号的信号强度的平均值。 周期（6）是四肢的微多普勒开始的时间周期。

B. 生成训练特征集

使用机器学习技术实现的分类器需要训练数据集。 本文通过从实测数据中提取特征来构建数据集，该数据集由12位人类受试者进行7种活动组成。每个人类受试者在四个不同的时间重复特定的活动6s。 然后，我们使用3秒钟的时间窗口来提取每次测量的特征的三种不同实现。这样，形成了来自特定人的每个活动的12个实现。 特征集的总数为（12个对象）×（7个活动）×（12个实现）= 1008。表II显示了来自所有12个受试者的每个特征的平均值。 可以看出，平均值在活动之间显示出明显的差异，从而有可能进行分类。但是，通过检查直方图（此处未显示），我们发现分布之间显示出相当大的重叠。这意味着构造分类器以区分活动并非易事，因此需要像SVM这样的更复杂的分类器。

基于支持向量机的人类活动分类

支持向量机用于根据多普勒频谱图提取的特征对七种人类活动进行分类。支持向量机是针对非线性边界问题开发的一种二元分类器[23] – [25]。它是一种基于核技术的监督学习方法。 原始的最佳超平面算法仅限于线性分类问题。但是通过使用内核技术来实现类之间的最大余量，开发了SVM以创建非线性类边界。通过核技术，输入数据被转换为高维空间。 在变换的特征空间中，可以通过线性超平面对数据进行分类。线性最优超平面导致原始输入空间中的非线性边界。 由于分类的准确性取决于所使用的核，因此在实践中选择核非常关键。

我们利用LibSVM，这是由Chang和Lin [30]实现的免费可用的SVM库。 对于给定的罚分参数和核参数，LibSVM根据训练数据构造决策边界，然后计算验证数据的分类误差。在我们的案例中，收集到的数据的四分之三用于训练数据集，其余四分之一用作验证集。

对于训练过程，使用了两种情况，如图6所示。第一种情况使用来自九个人的所有数据进行训练，并使用其余三个人的数据进行验证。第二种情况将所有12个人的9个实现用作训练集，并将所有人的其余3个实现用作验证集。第一种情况较为现实，因为它根据已知对象的数据对未知人类的活动进行了分类。 第二种情况是根据一个人的训练数据对该人的活动进行分类。使用四重交叉验证计算最终分类误差。在验证中，对于给定的总数据集，使用训练和验证数据集的不同组合对误差进行了四次计算。此过程概括了SVM的性能，并总结在图7中。成功的训练应同时得出较小的平均值误差和小方差误差。

SVM的制定基于两类问题。 为了将SVM应用于手头的多类问题，应将SVM重新构造为几个二进制类问题。已经开发出了多种方法来使用支持向量机[31]，[32]处理此类多类问题。在本文中，我们将支持向量机应用于决策树分类器。决策树方法使用树结构将多个类分解为几个不同的二进制决策问题。 在结构的每个非叶子节点，都使用二进制SVM分类器。选择基于决策树的SVM，因为它既简单又直观。 此外，它需要最少数量的SVM进行训练，并且训练和测试时间最短。建议的决策树的配置如图8所示。应构建六个不同的SVM。每个SVM使用不同数量的训练数据。 例如，SVM1的训练数据集由活动（a），（b），（c），（d），（e），（f）和（g）组成。 SVM3的仅来自活动（b）和（c）。
在我们的决策树结构中，顶部节点使用SVM1将所有活动分为两组：一个具有较高躯干速度的组和一个具有较低躯干速度的组。在躯干速度快的组中，跑步活动（a）通过SVM2与其他两个活动分开，而SVM3用于对活动（b）和（c）进行分类。SVM4，SVM5和SVM6用于将躯干速度低的组划分为特定的活动。我们注意到，此结构是启发式构造的，因此它可能不是最佳的。

我们使用高斯核来构建支持向量机，为成功学习，应仔细确定支持向量机的惩罚参数和高斯核宽度。详尽搜索最佳值，以使每个SVM的四重交叉验证中的平均分类误差最小。对于第一种情况，分类验证误差的平均值和方差分别为0.081和0.007。 对于第二种情况，分类验证误差的平均值和方差分别为0.072和0.010。与第一种情况相比，第二种情况的验证误差略小一些，或者具有更高的准确性（92.8％对91.9％）。这是可以预期的，因为第二种情况是根据一个人的训练数据对该人的活动进行分类。 值得注意的是，支持向量机的性能优于人工神经网络分类器[33]，后者的分类精度在80％左右。

所得的平均混淆矩阵示于表III。 继续前进（e）时，拳击在第一种情况下的分类错误最高，但在第二种情况下的错误很小。我们认为这是由于每个受试者执行此活动的方式存在较大差异所致。因此预测未知人员的活动会导致较高的错误。我们还观察到，在两种情况下，同时握住棍棒（c）活动的步行都容易与步行（b）活动混淆。这表明难以检测到这样的微小运动差异。 特别是在2.4 GHz时，多普勒分辨率较差，手臂的微多普勒因腿部运动而被掩盖在微多普勒内部。两种活动之间的唯一区别似乎是与活动（b）相比，（c）的六个特征的平均值稍小，如表II所示。

使用多普勒功能对活动进行SVM分类可以降低验证错误。 但是，研究哪些功能在分类中更重要是很有帮助的。 首先，我们一次使用一个功能进行分类过程。表IV显示了仅使用给定功能训练的四重验证错误。从表中按分类表现来排序，特征的顺序如下：躯干频率（特征1），无微多普勒的BW（4），总BW（2），总多普勒的偏移（3） ，标准化STD（5）和周期（6）。

仅躯干频率可以达到70％的性能，而依赖于信号强度的归一化STD和周期的分类准确度仅为30％左右。接下来，我们通过根据先前确定的顺序一次添加一个功能来评估这些功能的组合效果。 注意，由于特征可以在分类过程中以复杂的方式交互，因此预测组合特征的确切效果并不容易。图9显示了随着顺序添加更多特征而产生的分类精度。不出所料，更多的功能会导致更高的整体准确度，但是最后两个功能（即信号强度和周期的标准化STD）只能非常轻微地改善结果。因此仅使用四个最重要的功能就可以实现良好的精度。

其他研究

A. 对一系列活动的分类

在实践中，长时间观察到的人类行为可能由一系列活动组成，从一种活动过渡到另一种活动。研究是否有可能在连续的基础上可靠地对人类活动进行分类是很有用的。 如果是这样，则有可能通过对前面讨论的一系列简单活动的分类来确定更高层次的人的意图。使用我们开发的SVM分类器，对于单一的活动我们有一个问题，即它在活动之间的过渡期间将如何表现。使用构建的SVM收集并测试来自经过较长时间的一系列活动的人的测量数据。首先将3秒的时间窗口应用于数据并输入到分类器。 然后将窗口一次向前滑动0.5 s，然后重复此过程。一系列的活动考虑两种情况。第一种情况包括爬行运动（d），其次是在站立的地方拳击（f），然后是步行（b）;第二种情况是在步行（b），站立的地方拳击（f），而向前移动的拳击 （e），然后手持拐杖（c）走路。图10（a）和（b）显示了这两种情况的实测频谱图和分类结果。 SVM可以正确预测第一种情况的活动，除了从站立时拳击到行走的过渡之外。错误分类区域在图中以阴影显示。 在转换中，活动被分类为向前进移动的拳击（e）。由于特征是3秒时间窗口中的平均值，因此当活动在时间窗口中更改时，分类可能是错误的。但是向前移动（e）时拳击的错误分类结果并非没有道理，因为它可以被视为站立（f）和步行（b）时拳击的组合。第二种情况有两个发生错误分类的间隔。SVM将从步行（b）到站立时（f）的拳击的过渡再次错误地分类为（e）前进时的拳击。从向前移动的拳击（e）到握住棍子（c）走路的转换被分类为静止（g）。由于这些转换运动未包含在训练数据中，因此这些间隔的结果可以解释为分类器在未知活动下的性能示例。通过其结构，分类器可以根据提取出的特征中的匹配结果简单地强制做出决定。

B. 倾斜角情况

在收集的数据中，人体总是直接向雷达移动。 在更现实的情况下这通常不是正确的。为了评估倾斜角度情况的效果，当特定人类对象靠近雷达并相对于径向保持30°角时，将测量该对象的七个活动。测量设置和路径如图11（a）所示。 请注意，要相对于径向方向保持固定的30°角，所选路径将不是笔直的。人四次重复这七个活动。 对于每个活动，以与以前相同的方式从12个实现中提取特征。然后使用第二种情况下基于正面数据的先前训练的SVM对新测量的数据进行分类。 结果显示几乎相同的分类性能。 分类准确度为91.4％（相比92.8％）。可以认为，由于斜角情况的影响仅仅是多普勒信息的缩放，并且当该角度不太大时该量并不大，因此精度不会显着降低。 图11（b）显示了步行情况下的频谱图。 该图与图2（b）所示的正面行走数据之间几乎没有差异。

C. 穿墙测量

在原来的位置执行穿墙测量以了解微多普勒功能如何受墙影响。 该测试是在建筑外部墙壁上进行的，该墙壁是40厘米厚的砖墙。雷达放置在墙后0.1 m的建筑物内部，一名受检者在建筑物外墙的另一侧进行活动。由于墙的缘故，信号经历了大约25 dB的双向衰减。 此外，由于入射信号从墙壁反射，噪声级增加了11 dB。因此信噪比（SNR）降低了36 dB。 视线和穿墙情况下噪声信号强度的直方图如图12所示。由于信噪比降低，因此很难从噪声中检测目标。

图13示出了在穿墙环境中测量的步行和爬行活动的频谱图。 由于信号水平低得多，现在可以看到一条60 Hz的交流线路。随着时间的流逝，人类对象接近雷达。 尽管仍然可以看到躯干回波，但是当人体离雷达较远（超过4 m）时，要识别微型多普勒仪要困难得多。当人距墙壁4 m以内时，可以很好地观察到每种活动的微多普勒信号，尽管有限的SNR对于我们当前的特征提取器仍然很麻烦。尽管这种穿墙效果有些悲观，但我们认为主要瓶颈在于雷达硬件。利用脉冲波形和更复杂的时序来避免发射机阻塞，SNR的显着改善是可能的。 除了信噪比问题外，我们最近的研究表明，墙壁对多普勒频率的影响实际上可以忽略不计[30]。

结论

在本文中，我们研究了基于微多普勒信号对不同人类活动进行分类的可行性。使用多普勒雷达收集了执行7种不同活动的12位人类受试者的测量数据。从多普勒频谱图中提取了六个特征。 然后使用度量功能对SVM进行了训练，以对活动进行分类。 多类分类是使用决策树结构实现的。 发现基于六个特征的分类准确度高于90％。

虽然本文显示的结果很有希望，但我们还简要研究了在较长的时间内，相对于雷达倾斜的角度以及通过墙壁对人为活动进行分类的可能性。在这三个问题中，穿墙式人员分类仍然是最具挑战性的问题。 测量中的低SNR使得使用微多普勒信号非常困难。需要通过改进硬件来克服发射机的干扰问题。还需要对墙壁现象进行其他研究，以了解不同墙壁对微多普勒功能的影响。我们发现相对于雷达倾斜30°角不会显着影响分类结果，但是在较大角度下可能会出现更严重的降级，因此可能有必要考虑使用分布式多普勒传感器对移动中的人体活动进行分类，在任何方向的情况下。

最后，研究了长时间观察到的人类活动序列的分类。 通过使用移动窗口方法，我们能够使用开发的分类器来连续地成功分类活动。 该方法可能是通过一系列基本活动确定人的意图的良好的第一步。