Unsteady Multi-Element Time Series Analysis andPrediction Based on Spatial-Temporal Attention

本论文来自于 Future Internet 2020, 12, 34  MDPI

特点是时空注意力机制

Keywords: long short-term memory (LSTM); attention; harmful algal blooms (HABs); Chlorophyll-a (Chl-a); spatial; temporal; error forecast

Abstract

有害藻华（HABs）往往对渔业生产和人类生命安全造成极大危害。因此，HABs的检测和预测成为一个重要的课题。

        机器学习在国内外越来越多地用于预测HAB。然而，很少有人能够提前捕捉到 Chl-a 的突然变化并适当地处理长期依赖关系。

        为了应对这些挑战，提出了基于长短期记忆 (LSTM) 的叶绿素-a (Chl-a) 浓度预测时空注意模型，该模型可以捕捉各种因素与 Chl-a 之间的相关性，自适应地捕获来自先前时间间隔的动态时间信息以进行预测。

        该模型还可以提前捕捉到红潮爆发时数值飙升的 Chl-a 阶段。由于当前 Chl-a 浓度预测模型的不稳定性，该模型也被应用于预测可靠性的预测，以对模型误差的范围和波动有一个基本的了解，并为描述海洋灾害误差范围提供参考。

        实验所用数据取自福建省海洋预报站2009-2011年数据，合并为8维数据。结果表明，所提出的方法比其他 Chl-a 预测算法（例如 Attention LSTM 和 Seq2seq 以及反向传播）表现更好。误差预测结果也表明，误差预测方法在赤潮防治方面具有优势。

1. Introduction

  

现有环境预测模型大多使用总平均误差来评价预测结果，当自然灾害突然发生时，这些模型会出现较大的误差波动。

         因此，在预测自然灾害的发生时，不仅要了解模型的预测结果，还要掌握模型误差的波动情况，为预测的可靠性提供参考。

     人工神经网络 (ANN) 是最广泛使用的机器学习 (ML) 方法来预测藻华 [7,8]，尤其是反向传播 (BP) 神经网络 [9]。

        然而，由于赤潮是一个爆发性的过程而不是一个渐进的过程，目前大多数赤潮预测方法都存在不准确和误差波动的问题。

        当赤潮发生时，海水中的 Chl-a 值会突然上升。 现有赤潮预报方法无法预测赤潮爆发时Chl-a值的快速变化，也未考虑模型误差的波动。    

     我们在本文中使用 Chl-a 作为赤潮的指标。 考虑到赤潮与气压、光照、风速、风向、气温等气象因子的诸多维度相关，有必要建立多维度的空间注意力机制来捕捉这些因子与Chl-a的动态关联。

         我们还应用时间注意力来模拟目标时间序列中不同时间间隔之间的动态时间相关性，这可以解决encoder-decoder的性能会随着编码器长度的增加而迅速下降的问题。
       

在本文中，基于双阶段注意力的 RNN（DA-RNN）[16] 被应用于预测 Chl-a 并预测模型误差的波动。

我们的主要贡献如下：

（1）首先，我们开发了 DARNN 来预测 Chl-a 值，我们发现双注意力机制在 RMSE 和平均绝对误差（MAE）上的表现都优于其他模型 ，DARNN可以比其他模型更好地预测 Chl-a 值的突变，这对于防止赤潮具有重要意义。

(2) 其次，我们还对预报的可靠性进行了预测，对模型误差的范围和波动有一个基本的认识，为描述海洋灾害的范围提供参考。
 

2. Materials and Methods

  2.1. Problem Formulation

我们已知Chl-a的历史时间序列（T是时间窗口的大小）

已知其他特征（如温度，适度，氧气含量等）

其中表示k特征的时间序列，表示时刻t的所有其他特征（n是其他特征的数量），

那么我们希望预测现在的Chl-a的值

2.2. Mode

       图 1 展示了我们模型的框架。 按照decode-encoder架构 [11]，我们构建了一个基于 DA-RNN [16] 的预测网络。

         编码器处理多维空间注意机制，可以自适应地捕捉 Chl-a 与其他特征时间序列之间的动态相关性。

        解码器使用时间注意力来自适应地选择相关的先前时间间隔进行预测。

        借助时空注意机制，DA-RNN 可以捕捉输入特征与 Chl-a 之间的相关程度，并应用时间维度的注意来捕捉动态时间相关性。

2.2.1. Encoder with Multidimensional Spatial Attentions

   编码器本质上是一个LSTM，它将输入序列X编码潜在表示h 。

这里为了和GRU有一个比较，使用如下的图表示LSTM，意思是一样的，绿色和紫色的部分是二者的对照关系：

空间注意力机制自适应地学习ChI-a 的时间序列和其他特征序列之间的关联

这里[.;,] 是一个concat操作

是需要学习的参数

这里使用的不是一般所说的attention layer（就是Q矩阵乘K矩阵那样的），使用的是attention in Seq2Seq

有了权重，我们就可以更新不同时间步的输入和隐藏状态 

2.2.2. Decoder with Temporal Attentions

解码器阶段使用了一种时间注意机制来模拟输入特征序列中不同时间间隔之间的动态时间相关性。每个编码器隐藏状态在每次t时的注意权重定义如下：

其中We∈Rm×2p，Ue∈Rm×m和ve∈Rm是可学习的参数，dt−1是之前的解码器隐藏状态，c0t−1是解码器LSTM单元中的存储单元状态。β i t由式（10）计算，它是时刻t时第i个编码器隐藏状态对预测[16]的重要权重。vt是所有编码器隐藏状态的加权和。这些分数通过一个SoftMax函数进行标准化，以在编码器隐藏状态上创建注意掩码。

一旦得到时间步长t的加权求和上下文向量vt，我们就可以将它们与Chl-a时间序列结合起来，并更新解码器的隐藏状态。

其中ew∈R m+1 ande b∈R是映射连接到解码器输入大小的参数，yt−1是解码器输入，vt−1是计算的上下文向量，[.；.]是一个集中的操作。eyt−1是t时刻的解码器隐藏状态。我们将上下文向量vt与隐藏状态dt连接起来，它成为新的隐藏状态，从中我们可以做出最终的预测如下：

其中矩阵Wy∈Rn×（m+n）和向量bw∈Rn映射连接；∈R m+n。最后，我们使用一个线性变换（vy∈Rn和bv∈R）来生成最终的预测结果。我们的方法是平滑的和可微的，我们使用Adam优化器[21]来通过最小化均方误差来训练模型。

3. Experiment and Results

3.1. Datasets

实验数据来自福建省海洋预报站

各变量之间的皮尔逊关联系数为：

3.2. Evaluation Metrics and Determination of Parameters

3.3. Experiment

5. Conclusions

   本文提出了一种用于叶绿素-a（Chl-a）浓度预测的时空注意机制模型。考虑了与藻华问题有关的7个水参数，实验数据集来自福建海洋预报站。利用hab数据，该模型既可以自适应地选择相关的输入因子序列，又可以选择相关的前期时间间隔进行预测。我们使用福建海洋预报站的2009-2011年数据集对该模型进行了评估，结果证明，我们的模型在大多数情况下在RMSE和MAE上都优于其他方法（Seq2seq和注意LSTM和BP）。当红潮爆发时，DA-RNN可以提前捕捉到Chl的突然变化，这比其他方法要好得多。结果表明，该预测模型能很好地处理水质指标与Chl-a浓度之间的非线性关系。DA-RNN还用于预测模型的预测误差，目的是预测模型的预测可靠性，并对模型误差的范围和波动有基本的了解。