Generating Sequences With Recurrent Neural Networks（1）

摘要

本文展示了LSTM循环神经网络如何能通过预测数据点来生成复杂序列。 该方法针对文本（其中数据是离散的）和在线手写（数据是实值的）进行了演示。 然后通过允许网络对文本序列进行预测来扩展到手写合成。 所产生的系统能够以各种各样的风格产生高度逼真的草书手写。

introduction

循环神经网络（RNN）是一类丰富的动态模型，已被用于在音乐，文本和运动数据的捕获。可以通过一次处理实际数据序列来一步一步地对RNN进行序列生成的训练，并预测接下来的内容。假设预测是概率性的，可以从训练网络通过从网络的输出分布迭代地采样来生成新的序列，然后在下一步中将样本作为输入。换句话说，让网络将其发明看作是真实的，就像一个人在做梦。 虽然网络本身是确定性的，但采摘样本注入的随机性会导致序列分布。 这种分配是有条件的，因为网络的内部状态，因此其预测分布取决于先前的输入。

在这个意义上，RNN是“模糊的”，他们不使用训练数据中的精确模板进行预测，而是像其他神经网络一样，使用他们的内部表示在训练示例之间执行高维插值。这将它们与n-gram模型和压缩算法（如部分匹配预测）区分开来，其预测分布是通过计算最近历史和训练集之间的精确匹配来确定的。本文样本中立即显现的结果是RNN（与基于模板的算法不同）以复杂的方式合成和重构训练数据，并且很少生成相同的事情两次。 此外，模糊预测不会受到维度的诅咒的影响，因此，与真实匹配相比，建模实值或多变量数据更好。

原则上，足够大的RNN应该足以产生任意复杂的序列。然而，在实践中，标准RNN无法存储关于过去输入的信息很长时间。除了能够模