[时序数据趋势预测]论文阅读思考总结[2022.3.25-2022.4.1]

1.时序数据预测为什么要用LSTM网络？

在使用深度学习处理时序数据时，RNN是经常用到的模型之一。

在深度学习领域中（尤其是RNN），“长期依赖“问题是普遍存在的。长期依赖产生的原因是当神经网络的节点经过许多阶段的计算后，之前比较长的时间片的特征已经被覆盖,导致产生梯度消失/爆炸。

处理梯度爆炸可以采用梯度截断的方法。所谓梯度截断是指将梯度值超过阈值θ \thetaθ的梯度手动降到θ \thetaθ 。

梯度消失不能简单的通过类似梯度截断的阈值式方法来解决，因为长期依赖的现象也会产生很小的梯度。例如，对于时序数据[ t 1 , t 2 , t 3 , . . . , t 8 , t 9 , t 10 ] [t1,t2,t3,…,t8,t9,t10][t1,t2,t3,…,t8,t9,t10]，我们希望 t 9 t9t9时刻能够读到 t 1 t1t1时刻的特征，在这期间内我们自然不希望隐层节点状态发生很大的变化，所以 [ t 2 , t 8 ] [t2,t8][t2,t8]时刻的梯度要尽可能的小才能保证梯度变化小。很明显，如果我们刻意提高小梯度的值将会使模型失去捕捉长期依赖的能力。

LSTM（long short term memory，长短期记忆网络）是预测时间序列最常用的神经网络模型之一。但是这种神经网络模型相当复杂，需要特定的结构、数据前期处理等操作。
LSTM提出的动机是为了解决上面我们提到的长期依赖问题。

2.LSTM结构介绍

	RNN有梯度消失的缺点。因此，在很长一段时间内发生的非稳态的依赖性就不能被RNN很好地捕获。

由于梯度消失效应，RNN不能充分捕捉到具有不同特征的多个时间相关性和长期相关性。因此，门控机制被开发来取代经典的激活函数。LSTM单元拥有三个门，一个输入门、一个遗忘门和一个输出门，它们允许对通过迭代传播来捕获长期依赖关系的单元状态向量进行更改。细胞内受控的信息流使网络能够记住具有不同特征的多个时间依赖关系。

进一步介绍LSTM网络架构之前，门控循环单元(GRU)作为LSTM单元的一种修改被引入。

GRU对时间序列进行建模，目的是创建一种机制，通过改进短期信息的集成来补充预测长期依赖关系的能力。其目的是在不同的时间范围内实现依赖性的自适应建模。

与LSTM相比，GRU具有简化的单元结构，也基于门控系统，但只有一个更新和复位门。与LSTM的主要区别是，在每次迭代时，细胞状态可以完全修改，并通过复位门用短期信息更新。另一方面，LSTM提供了一种机制来限制在每次迭代中可以实现的变更梯度。因此，LSTM不允许完全丢弃过去的信息，而GRU却可以。

LSTM单元的网络体系架构

该体系结构分为基于注意机制的优化胞态表示的LSTM和基于交叉模态预测的胞态交互的LSTM。
1.基于注意机制的优化胞态表示的LSTM
2.基于交叉模态预测的胞态交互的LSTM

文献：[1