论文翻译：Unsupervised Representation Learning with Long-Term Dynamics for Skeleton Based Action Recognit

摘要
       近年来，基于骨骼的动作识别正成为一个越来越有吸引力的替代现有的视频替代方法，得益于其强大和全面的3D信息。在本文中，我们首次探索了一种无监督表示学习方法来获取骨骼序列的长期全局运动动力学。在对抗训练策略的指导下，我们设计了一个有条件的绘画架构来学习固定维度的表示。我们在三个行之有效的动作识别数据集上定量地评估了我们的学习方法的有效性。实验结果表明，我们的学习表示对分类动作具有鉴别性，能显著减少序列内画错误。

介绍
动作识别作为计算机视觉的一个重要分支，在智能视频监控、机器人视觉、人机交互、游戏控制等领域得到了广泛的应用(Weinland, Ronfard, and)波伊尔2011;杨和田(2017)。传统的动作识别研究主要集中在二维摄像机拍摄的视频上。由于难以实现视点和尺度不变性，其性能仍不能令人满意2D视频会丢失一些3D空间的信息。另一种常用的方法是基于骨骼的动作识别，用关键关节的三维坐标位置来表示一个人。这种表示对于位置、规模和观点的变化是健壮的。
本文主要研究基于骨架的动作识别问题。这一问题的关键是学习具有辨别能力的身体姿态及其运动动力学。大多数传统的基于骨骼的动作识别方法基于隐马尔可夫模型(HMMs) (Xia, Chen, and Aggarwal 2012)或时间金字塔(TPs) (Vemulapalli, Arrate, and Chellappa 2014)对骨骼关节的时间动力学进行建模。这些模型通常需要选择有效的特征来表示人或者选择适当的滑动窗口宽度来模拟时间动态。在过去的几年里，端到端深度学习技术(Sutskever, Vinyals, Le 2014; LeCun, Bengio, and Hinton 2015)，尤其是经常性的神经网络(RNNs)已用于动作识别，并取得了令人印象深刻的更好的性能(Du，Wang, and Wang 2015;(朱等2016)。这些模型背后的见解是提取区分特征以进行再现发送了不同动作的时间演化。然而，上面提到的这些方法大部分都被称为监督学习方法，这些方法很大程度上依赖于大量的带标记的训练例子。这些标签数据通常非常昂贵，无法获得。因此，如何有效地、高效地从常见的、易于访问的无标记示例中学习表示，是一个挑战，也越来越受到研究的关注。
最近，一系列的无监督表示学习方法被提出。这些方法是根据不同的目标制定的。一些表示法暂时平滑并学习缓慢变化的表示法(Foldi¨ak 2008)，而其他人通过重构过去的帧或预测未来的帧来学习“表示法”(Srivastava, Mansimov, and Salakhudinov 2015;(罗等，2017)。这些模型接收固定长度的输入序列，然后重建过去或预测未来固定长度的帧。虽然他们显示了良好的结果，大多数学习表征仍然集中在捕获外观特征或局部运动动力学。这些方法在处理变长序列时不够灵活，且没有考虑对骨骼序列中长期全局运动依赖项的编码。它们的学习表示对于骨架序列的分类没有足够的区分能力。为了解决上述的局限性，我们提出了一个无监督表示学习框架来紧凑编码长期全局运动动力学条件inpaint。如图1所示，该框架由三个子网络组成，其工作方式为以下低点。编码器(左侧)运行输入序列，并将其压缩成固定维的表示形式。一个解码器(中间)学习重建随机掩蔽(损坏)输入序列条件在学习表征上。鉴别器(右侧)学习区分原始序列和重建序列。只有传统的元素损失，重建序列可能看起来不现实，因为填充区域可能与他们的背景不一致。鉴别器负责通过给予对抗性损失来引导译码器产生视觉上真实的序列。我们称我们的模型为条件inpaint，就像解码器inpaint序列的条件是学习的表现。通过使用有效的破坏策略和减少内画误差，我们的目标是诱导学习的表示来捕获长期的全局运动动力学。在三个公共数据集上的实验结果表明，我们的学习表示对分类动作具有区分能力，并且与最近提出的无监督模型和有监督模型相比，我们的学习表示取得了更好的性能。我们的工作贡献如下：

         不同于现有的序列特征学习方法只学习表象或短期局部运动，我们引入了一种新的条件骨架嵌入网络，以获取长序列的长期全局运动动态。此外，据我们所知，我们是第一个探索基于骨架的动作识别的无监督表示学习方法的人。

       通过设计额外的对抗性训练策略，我们增强了编码器-解码器模型，以学习更多的有区别的表示，并减少了骨架序列内画的错误。
          针对最近提出的无监督和监督网络，在现实世界基准上的详尽实验验证了我们的方法的效率。作为一个非平凡的副产品，我们对不同方法学习的表示法进行了全面的评价和研究。

概述

我们首先介绍了序列无监督表