Unsupervised Learning of Video Representations using LSTMs

1.Introduction

      理解时间序列对于解决AI集中的许多问题很重要。最近，使用LSTM的RNN架构（Hochreiter＆Schmidhuber，1997）已成功地用于各种监督序列学习任务，如语音识别（Graves＆Jaitly，2014），机器翻译（Sutskever等，2014; Cho等，2014）和图像字幕生成（Vinyals等，2014）。它们也被应用于视频中的动作识别和产生自然语言描述（Donahue等，2014）。 Sutskever et al（2014）描述了一个通用的seq-seq学习框架，其中使用RNN将输入序列编码为固定长度的表示，然后使用另一个RNN对该表示解码出一个输出序列。在本文中，我们应用和扩展这个框架，来学习图像序列的表示。我们选择在无监督设置下工作，因为我们只能访问未标记的视频的数据集