时间序列深度学习：状态 LSTM 模型预测太阳黑子（上）

作者：徐瑞龙 整理分享量化投资与固定收益相关的文章

博客专栏： 

https://www.cnblogs.com/xuruilong100 

本文翻译自《Time Series Deep Learning: Forecasting Sunspots With Keras Stateful Lstm In R》

由于数据科学机器学习和深度学习的发展，时间序列预测在预测准确性方面取得了显着进展。随着这些 ML/DL 工具的发展，企业和金融机构现在可以通过应用这些新技术来解决旧问题，从而更好地进行预测。在本文中，我们展示了使用称为 LSTM（长短期记忆）的特殊类型深度学习模型，该模型对涉及自相关性的序列预测问题很有用。我们分析了一个名为“太阳黑子”的著名历史数据集（太阳黑子是指太阳表面形成黑点的太阳现象)。我们将展示如何使用 LSTM 模型预测未来 10 年的太阳黑子数量。

教程概览

此代码教程对应于 2018 年 4 月 19 日星期四向 SP Global 提供的 Time Series Deep Learning 演示文稿。可以下载补充本文的幻灯片。

这是一个涉及时间序列深度学习和其他复杂机器学习主题（如回测交叉验证）的高级教程。如果想要了解 R 中的 Keras，请查看：Customer Analytics: Using Deep Learning With Keras To Predict Customer Churn。

本教程中，你将会学到：

• 用 keras 包开发一个状态 LSTM 模型，该 R 包将 R TensorFlow 作为后端。

• 将状态 LSTM 模型应用到著名的太阳黑子数据集上。

• 借助 rsample 包在初始抽样上滚动预测，实现时间序列的交叉检验。

• 借助 ggplot2 和 cowplot 可视化回测和预测结果。

• 通过自相关函数（Autocorrelation Function，ACF）图评估时间序列数据是否适合应用 LSTM 模型。

本文的最终结果是一个高性能的深度学习算法，在预测未来 10 年太阳黑子数量方面表现非常出色！这是回测后状态 LSTM 模型的结果。

商业应用

时间序列预测对营收和利润有显着影响。在商业方面，我们可能有兴趣预测每月、每季度或每年的哪一天会发生大额支出，或者我们可能有兴趣了解消费者物价指数（CPI）在未来六年个月如何变化。这些都是在微观经济和宏观经济层面影响商业组织的常见问题。虽然本教程中使用的数据集不是“商业”数据集，但它显示了工具-问题匹配的强大力量，意味着使用正确的工具进行工作可以大大提高准确性。最终的结果是预测准确性的提高将对营收和利润带来可量化的提升。

长短期记忆（LSTM）模型

长短期记忆（LSTM）模型是一种强大的递归神经网络（RNN）。博文《Understanding LSTM Networks》（翻译版)以简单易懂的方式解释了模型的复杂性机制。下面是描述 LSTM 内部单元架构的示意图，除短期状态之外，该架构使其能够保持长期状态，而这是传统的 RNN 处理起来有困难的：

来源：Understanding LSTM Networks

LSTM 模型在预测具有自相关性（时间序列和滞后项之间存在相关性）的时间序列时非常有用，因为模型能够保持状态并识别时间序列上的模式。在每次处理过程中，递归架构能使状态在更新权重时保持或者传递下去。此外，LSTM 模型的单元架构在短期持久化的基础上实现了长期持久化，进而强化了 RNN，这一点非常吸引人！

在 Keras 中，LSTM 模型可以有“状态”模式，Keras 文档中这样解释：

索引 i 处每个样本的最后状态将被用作下一次批处理中索引 i 处样本的初始状态

在正常（或“无状态”）模式下，Keras 对样本重新洗牌，时间序列与其滞后项之间的依赖关系丢失。但是，在“状态”模式下运行时，我们通常可以通过利用时间序列中存在的自相关性来获得高质量的预测结果。

在完成本教程时，我们会进一步解释。就目前而言，可以认为 LSTM 模型对涉及自相关性的时间序列问题可能非常有用，而且 Keras 有能力创建完美的时间序列建模工具——状态 LSTM 模型。

太阳黑子数据集

太阳黑子是随 R 发布的著名数据集（参见 datasets 包）。数据集跟踪记录太阳黑子，即太阳表面出现黑点的事件。这是来自 NASA 的一张照片，显示了太阳黑子现象。相当酷！

来源：NASA

本教程所用的数据集称为 sunspots.month，包含了 265（1749 ～ 2013）年间每月太阳黑子数量的月度数据。

构建 LSTM 模型预测太阳黑子

让我们开动起来，预测太阳黑子。这是我们的目标：

目标：使用 LSTM 模型预测未来 10 年的太阳黑子数量。

1 若干相关包

以下是本教程所需的包，所有这些包都可以在 CRAN 上找到。如果你尚未安装这些包，可以使用 install.packages() 进行安装。注意：在继续使用此代码教程之前，请确保更新所有包，因为这些包的先前版本可能与所用代码不兼容。

# Core Tidyverse
library(tidyverse)
library(glue)
library(forcats)

# Time Series
library(timetk)
library(tidyquant)
library(tibbletime)

# Visualization
library(cowplot)

# Preprocessing
library(recipes)

# Sampling / Accuracy
library(rsample)
library(yardstick)

# Modeling
library(keras)

如果你之前没有在 R 中运行过 Keras，你需要用 install_keras() 函数安装 Keras。

# Install Keras if you have not installed before
install_keras()

2 数据

数据集 sunspot.month 随 R 一起发布，可以轻易获得。它是一个 ts