PREDICT & CLUSTER: Unsupervised Skeleton Based Action Recognition【预测与聚类：基于无监督骨架的动作识别】

图1：预测和聚类:从主体关键点进行无监督的动作识别。请参见补充视频中的例子。

摘要：提出了一种新的无监督骨架动作识别系统。在给定各种动作中获得的身体关键点序列输入的情况下，系统将这些序列与动作关联起来。我们的系统基于编码器-解码器循环神经网络，编码器通过训练模型来学习隐藏状态中的可分离特征表示，从而完成预测任务。我们证明，根据这种无监督训练，解码器和编码器自组织他们的隐藏状态到一个特征空间，该空间将相似的运动聚为同一群，不同的运动聚为遥远的群。目前最先进的动作识别方法受到严格监督，即依赖于提供标签进行训练。无监督方法被提出，然而，他们需要相机和深度输入(RGB+D)在每个时间步。相比之下，我们的系统是完全无监督的，不需要任何阶段的动作标签，只需要输入身体关键点就可以操作。此外，该方法可以在不同维度的身体关键点(2D或3D)上执行，并包括额外的关于划痕动作的线索。我们评估了我们的系统在三个广泛的行动识别基准与不同数量的行动和例子。在交叉视图测试中，我们的结果优于之前基于无监督骨骼的方法，基于无监督RGB+D的方法，并且在无监督骨骼的情况下，其性能与基于有监督骨骼的动作识别相似。

1. 引言

        尽管最近的方法在识别视频中的基本动作方面显示出了惊人的成功率，但当前的方法依赖于强大的监督，并附带大量带有动作标签的训练示例。对于各种类型的动作和应用程序来说，大规模数据集的收集和注释是难以置信的。此外，注释本身就是一个具有挑战性的问题，因为注释通常取决于注释者为给定序列分配有意义的标签。特别是在不清楚ground-truth的情况下，如对动物运动的标注。实际上，注释挑战在运动的不同上下文信息源中很常见，例如视频（RGB），深度（+ D）和随时间推移跟踪的关键点。一方面，与RGB+D数据相比，关键点包含的信息少得多，并且使用起来很困难。然而，另一方面，关注关键点通常可以孤立动作，并为它们提供更健壮的独特特征。对行为识别来说，人体关节点的时间序列（骨架数据）通常被认为是一种描述动作的有效方法。因此，我们关注3D骨架时间序列，并提出一个无监督的系统来学习特征，并根据它们将动作分配给类。

        我们称我们的系统为预测&聚类(P&C)，因为它是基于训练一个编码器-解码器类型的网络来同时预测和聚类骨架序列，这样网络学习一个有效的动作的隐藏特征表示。事实上，用非分类无监督任务来直观地替换分类有监督任务是试图继续(预测)或再现(重新生成)给定序列，从而使隐藏状态捕捉动作的关键特征。在编码器-解码器架构中，预测任务通常如下实现:给定作为编码器输入的动作序列，解码器继续或生成编码器输入序列。由于输入是序列，解码器和编码器都是递归神经网络(RNN)，包含序列中每个时间样本的隐藏变量单元。编码器的最终隐藏状态通常被用来表示动作特征。虽然编码器包含了动作特征，但是由于训练过程中的梯度从解码器流回编码器，所以解码器训练策略显著地决定了表示的有效性。具体而言，提出了两种类型的解码器训练策略用于这种预测/重建任务。

        第一种策略是条件策略，其中解码器的前一个时间步长的输出被用作当前时间步长的输入。利用这种策略，解码器的输出被期望是连续的。相反，无条件策略给解码器的每个时间步长分配一个零输入。先前的工作表明，解码器的无条件训练有望具有更好的预测性能，因为它有效地削弱了解码器，从而迫使编码器学习更具信息性的表示。

    在我们的系统中，我们扩展这样的策略来增强编码器表示。这导致特征空间中动作的增强的聚类和组织。特别地，我们提出了两种解码器训练策略，固定权重和固定状态来进一步惩罚解码器。这些策略的实现引导编码器进一步学习它所处理的序列的特征表示。事实上，在这两种策略中，解码器都是“弱解码器”，即解码器实际上没有被优化，并且充当向编码器传播梯度以进一步优化其最终状态的角色。将这两种策略结合在一起，我们发现网络可以学习一个健壮的表示，并且我们的结果表明，与未经训练的无监督方法相比，这种策略可以获得显著增强的性能。通过在三个广泛的基于骨架和RGB+D的动作识别数据集上评估我们的系统，我们证明了我们提出的方法的有效性和通用性。具体来说，我们表明我们的P&C无监督系统实现了高精度性能，并优于以往的方法。