TensorTrainRNN和HigherOrderRNN，所谓的高阶RNN解析（1）

Long-term Forecasting using Tensor-Train RNNs添加链接描述
这篇文章是arxiv占坑的，正式发表名字改成了《Learning chaotic dynamics using tensor recurrent neural networks》。
​ 在最近的时序预测研究领域，有许多在张量方面的研究比较新奇，就挑了一个文中涉及到的与RNN相关的文献研究了一下。

​ 研究对象：作者面向的问题是非线性的、无规律、并且带有许多噪音的数据集。比如以下两个，分别是温度预测和公路上的速度预测。可以发现，这个数据就是乱。

​ 作者在文中的表述是==“forecasting in environments with nonlinear dynamics”==。这边作者提到了非线性动力学（nonlinear dynamics），我找了一些资料，在神经网络中，的确有一部分内容是符合非线性动力学的，这个后文也有涉及。我们常用的RNN其实可以归纳为一种一阶马尔科夫模型，也就是只用到了一个前一个的隐藏态。如果运用到了L个隐藏态，就是L阶马尔科夫模型。

​ 作者认为，这种 nonlinear dyn