Memory in Memory（MIM）时空序列预测学习总结

动机：作者发现PredRNN中的遗忘门总是处于负饱和中（ft<0.1）会出现灾难性遗忘。

下面给出解释

LSTM内部结构

 如图为LSTM的内核，它一部分时间信息是存储在Ct中的，而Ct每一时间步的更新都要先经过遗忘门（相乘）后再加上输入门与tanh输出相乘后的信息，所以出现上述遗忘门负饱和问题时会使上一时间的Ct-1无法有效的往之后的时间步传播，从而难以保存较长的时间信息。

作者根据Cramér 分解理论即任何时间序列数据的非平稳过程都可分解为若干个确定性的时变多项式和一个零均值的随机项，所以可以适当地使用差分运算降低其中时变多项式的阶数将其逐渐趋于平稳，使确定性的复杂趋势信息变得可预测。

方法：

作者将ST-LSTM中的遗忘门替换成两个模块，即非平稳模块（MIM-N）和平稳模块（MIM-S）

其中非平稳模块用来捕捉隐藏状态的非平稳趋势，将相同层 相邻两时刻隐藏状态进行差分输入LSTM得到输出Dtl , 而该输出又作为平稳模块的输入，平稳模块设计初衷是为了捕捉时空动态系统中的近似平稳变化。

其思想是，经过非平稳模块的处理输出的Dtl 可以看做原始非平稳趋势信息的一种低阶表示。