【文献阅读】深度时空网络风力预测（Jiangyuan Li等人，ArXiv，2021）

一、背景

        文章题目：《Deep Spatio-Temporal Wind Power Forecasting》

        文献下载地址：2109.14530.pdf (arxiv.org)https://arxiv.org/pdf/2109.14530.pdf        文献引用格式：Jiangyuan Li and Mohammadreza Armandpour.  "Deep Spatio-Temporal Wind Power Forecasting". arXiv preprint, arXiv: 2109.14530, 2021.

        项目地址：https://github.com/jiangyuan2li/ Deep-Spatio-Temporal.

二、文章导读

Wind power forecasting has drawn increasing attention among researchers as the consumption of renewable energy grows. In this paper, we develop a deep learning approach based on encoder-decoder structure. Our model forecasts wind power generated by a wind turbine using its spatial location relative to other turbines and historical wind speed data. In this way, we effectively integrate spatial dependency and temporal trends to make turbine-specific predictions. The advantages of our method over existing work can be summarized as 1) it directly predicts wind power based on historical wind speed, without the need for prediction of wind speed first, and then using a transformation; 2) it can effectively capture long-term dependency 3) our model is more scalable and efficient compared with other deep learning based methods. The implementation and trained models are available on https://github.com/jiangyuan2li/ Deep-Spatio-Temporal. We demonstrate the efficacy of our model on the benchmark real-world datasets.

本文作者基于编码解码结构，提出了一种深度学习方法。模型利用风力涡轮相对于其他涡轮的空间位置和历史风速数据来预测风力发电，作者整合了空间依赖性和时间趋势，以做出特定涡轮的预测。这个方法的优势可以总结为：①基于历史风速直接预测风力，无需先预测风力，再进行变换②可捕捉长期依赖性③与其他方法相比，模型更具有伸缩性。

三、文章介绍

        现有的风力预测方法可以分为4类：1）持续性方法，即假定风力在一个短时间内是不会发生改变。2）物理方法，基于数字化天气预测的公式，需要多种参数，比如温度，压力，地表粗糙度等。3）统计方法，基于历史数据的概率统计模型，比如克里金插值。4）深度学习方法，基于大量的数据来学习输入和输出之间的复杂映射。

        尽管现在的深度学习方法相较于传统方法已经取得了很好的效果，但是这些方法仍然具有一些缺点，具体表现为：1）缺乏关于时空相关性的设计。2）仍然依赖于power curve transformation（一种风力预测方法）来预测风力的输出，尽管这种方法能够简化风力预测问题，但是曲线拟合过程仍然会产生误差，导致最终的预测结果不够准确。3）捕捉长期依赖性则仍需要一个神经网络和大量的参数，此外，网络增大也会增加过拟合的概率。

        为了解决上述问题，本文基于编码解码网络，用GRU作为循环单元，以捕捉时间特征和长期依赖性。解码器使用MLP，能够生成风速和风力。此外还使用了风涡的空间信息以及相邻风涡之间的相关性。

1. 问题建模（PROBLEM FORMULATION）

        风力预测的目标就是捕捉周围风涡的历史风速数据和目标风涡的未来风力之间的相关关系。

        假设风涡为N，位置集合为V，风速为X，风力为Y，预测t时刻的风力则可以表述为：

        对于每一个风涡i，它的周围风涡表示为k(i)，除了风速之外的其他特征，都可以合并到这个多维的时间序列当中。整个风涡参数的预测过程可以表示为：

2. 方法（PROPOSED METHODOLOGY）

        本文提出的深度时空网络，首先，时间特征使用GRU来提取，然后，在图结构中使用空间相关性来丰富时间特征，最后根据风涡嵌入和相关时间特征，来预测风涡。

（1）时间特征

        这里作者使用一个编码-解码的GRU来学习特征，其中编码器和解码器都是GRU结构，输入的是连续的风涡时间序列数据。GRU包含了许多乘积单元，其中重置门（reset gate）控制着先前隐含状态到后续内存的输出流，更新门（update gate）控制着先前隐含状态和当前候选状态之间的平衡，GRU有效地利用隐藏状态，而不是使用额外的单元状态来解释长时间依赖关系。作者随机选择了很多风速序列来说明风速并没有很长的依赖性，如下图所示。另外，GRU相较于LSTM，较少的参数不仅使其更快的训练，而且也可以避免过拟合。

（2）K-NN图

        深度学习在时空数据挖掘中表现出非常好的效果，可用于的应用包括预测学习，表示学习，以及异常检测。对于不同的时空数据则有着不同的处理方法，比如，交通预测中多使用CNN来处理图像中的空间关系，注意力机制多用于风场中预测风力。

        本模型试图在风涡级预测风力。风涡在一个局部区域内有着相同的风密度，气压和湿度。为了整合空间依赖关系，基于风涡的地理坐标整合了KNN算法。如果用k代表k个近邻的风涡，x代表t时刻风涡的风速，那么目标函数可以表示为：

        当空间关系不清楚的时候，往往使用自注意力，它由一维加权时间序列数据作为输入。这个方法可以探索风场内一些未知关系。

（3）风涡嵌入

        在风产品中，风力曲线是经常用来评估风涡能量产品效率的，它是同一时刻的风力输出和风速的关系。传统的风力预测则依赖于风力曲线，并直接的将风速转化为风力，而风速的预测则是根据时间序列或时空模型获得。这类方法的问题在于曲线拟合的时候会产生额外的误差，这也是作者选用Seq2Seq模型的动机。

        首先作者使用了one-hot编码，给输入的风涡编号。但是这种表示方法具有很大的稀疏性，且不包含语义信息，因此作者考虑使用隐向量或者嵌入来表示。将嵌入向量用g表示，则整个模型的结构如下图所示：

（4）特征增强

        风速是具有周期性的，比如季节变化或者天数的变化，而传统方法常常忽略这种周期性的变化，因此作者引入循环网络来处理这种时间特征。

3. 实验

        实验使用的数据集有两个，一个是美国近海岸风场的数据，另一个是Wind Integration National Dataset。作者基于这两个数据集，比较了很多经典算法和基于深度学习的算法，实验的MAE如下表所示：

        相较于其他深度学习模型，该算法只需要约20k个参数，而其他模型则需要至少100k个参数，具体情况如下表： 

         由于风力并不适用于WIND数据集，因此作者统计了不同算法的风速的RMSE，结果如下图所示：

 

四、小结