时空序列预测学习记录1

记录一下最近时空序列相关的学习笔记

• CNN类型

• RNN类型,这俩个都是比较基础的了

  • ConvLSTM
  • predrnn

• E3D-LSTM:长期记忆建模

• Transformers：Long-Range Transformers for Dynamic Spatiotemporal Forecasting

• 一个交通流预测采用了ST-GCN模型：使用一维卷积进行时间维度的信息学习，这个是网络结构的时候可以用到

感觉时空搜出来的模型都是（新的3D卷积方法+RNN），long-term搜出来的都是（Transform变型），这是因为在长序列方面，Transformer要比LSTM有优势。毕竟序列越长，LSTM丢失的信息越多。

时空序列拟定模型：

ConvLSTM

• 背景：输出的序列通常的大于1，并且因为时空序列的高维性，特别是当必须进行多步预测时，除非预测模型很好地捕获了数据的时空结构，因此传统的预测方法效果一般。
• 本文算法要点
  • 通过先前观测到的雷达序列预报出固定长度的未来雷达图
  • 提出一种卷积LSTM网络，从输入到状态和状态到状态的转化都有卷积结构
  • t X M X N的网格，每个位置都有P个观测值，预测未来的K个时间点的M X N X K
  • LSTM:
    • 长短期记忆，即只有一部分信息需要长期记忆，但是有的信息可以不记录，同时被记录下来的信息随着时间的推进还需要遗忘。
    • 1、遗忘门：LSTM会先根据新的输入和上一时刻的输出决定遗忘掉之前的哪些记忆
    • 2&3 记忆门：将现在的向量中的有效信息提取出来，使用的sigmoid函数来控制这些记忆要放“多少”进入单元状态
    • 4、输出门：整合当前输入和上一时刻的输出
  • 避免使用FC-LSTM的冗余数据连接，通过堆叠多个卷积长短时记忆网络层并形成编码-预测结构，传统FC - LSTM的最后两个维度为1的3D张量。从这个意义上讲，FC - LSTM实际上是卷积长短时记忆网络的一个特例，所有特征都站在单个细胞上。
  • 在卷积长短时记忆网络层中，所有的输入、单元输出，隐藏状态以及门都是三维张量，后两个维度是空间维度（行和列），即（X, Y, Z）格式的
  • 为了更好地了解输入和状态，我们可以把它们想象成站在空间网格上的向量。卷积长短时记忆网络通过其局部邻居的输入和过去状态来判断网格中某个单元的未来状态
  • 为了保证状态具有与输入相同的行数和列数，在应用卷积操作之前需要进行填充
  • 编码LSTM将整个输入序列压缩为一个隐藏的状态张量，预测LSTM将这个隐藏的状态展开，这样的话我们的输入和输出元素都是3D张量，保留了所有的空间信息。由于该网络具有多个堆叠的卷积长短时记忆网络层，因此它具有很强的表达能力

PredRNN

• 相比于ConvLSTM，多加了层之间的关系（ConvLSTM中层与层是独立的，最后一层无法用到第一层的信息）最底层就会忽略之前的时间步中的最高层的时间信息，这也是ConvLSTM的层与层之间独立mermory mechanism的缺点 这里的层就是卷积层

Eidetic 3D LSTM

• 相比于ConvLSTM， 这里的遗忘门不仅指0忘记1记住，而是（0-1）之间的数来表示学习多少，而这个机制用在了输入，从已感知到的信息中记忆和提炼有用的信息，唤醒过去的记忆

SAM + ConvLSTM：可以增加模型的长期依赖性

Long-term 预测

• Long-term Wind Power Forecasting with Hierarchical Spatial-Temporal Transformer
• informer
• Dliner（验证说transform效果没有这种基础的网络预测好）
• NLinear
• SCINet