Temporal Convolutional Networks for the Advance Prediction of ENSO

Temporal Convolutional Networks for the Advance Prediction of ENSO

Yan J, Mu L, Wang L, et al. temporal convolutional networks for the Advance prediction of enSo[J]. Scientific Reports, 2020, 10(1): 1-15.
这篇论文更像是对之前写的TCN这篇论文模型的一个应用，所以写的比较简单，代码细节有疑问的可以回去翻阅上一篇文章。

Motivation

这篇文章主要对厄尔尼诺现象-南方涛动现象进行了预测
由于这种现象非常复杂，所以这种想象的形成因素并没有很确定的结论，本文采用了两个指标进行预测，分别是：

1. The Niño 3.4 index as an indicator of ENSO events in the ocean.
2. The SOI(southern oscillation index ) as a measure of ENSO events in the atmosphere.

目前对于ENSO的预测主要有三种方法：

1. Statistics-based methods
   Holt-Winters (HW) method and ARIMA method(poor ftting)

2. ML-based methods
   SVR, ANNs, LSTM (complex and computationally time-consuming)

3. Hybrid approach
   ARIMA-ANNs and ensemble empirical mode decomposition (EEMD)-convolutional long
   short-term memory (ConvLSTM). (depend largely on the statistical decomposition model)

Model

本文提出了EEMD-TCN模型（ensemble empirical mode decomposition-temporal convolutional network）
首先采用EEMD进行模式分解，原始高波动率时间序列可以被划分为一些自适应正交分量，称为IMFs，它不能保持原特征，但大大降低了年化波动率。
可以看出，EEMD后，Nino 3.4指数和SOI系列的每个IMF分量只包含一个频率分量，可以有效提高模型的预测精度。

直接应用简单的因果卷积来处理长时间序列问题是非常具有挑战性的，因为它只能回顾网络深度为线性大小的历史。为了消除这一问题，采用了能使接收域呈指数大的膨胀卷积。
TCN中的体系结构元素如下图所示。

此外，随着时间序列长度的增加，TCN感受野也在扩大，导致网络层数和每层过滤器的数量都在增加，因为TCN感受野取决于网络深度n、滤波器大小k和膨胀因子d。
然而，深度网络的主要问题是梯度的爆炸和消失，TCN模型使用通用的残差模加粗样式块而不是卷积层来避免这些问题。下图显示了TCN的残差模块。

Experiment

数据集：
Dataset
Niño 3.4 index36 and SOI reanalysis data
Train: 1871 to 1973
Test: 1984 to 2019
1 month, 3 months, 6 months, and 12 months in advance.

Niño 3.4拟合可视图


SOI拟合可视图



可以看出来经过与很多模型的对比，本文提出的模型都获得了很好地效果。