【论文速读】【未完成】【金融】Deep learning with long short-term memory networks for financial market predictions

本文仅仅为个人快速阅读记录。

😄 😆 😊 😃 😏 😍 😘 😚 😳 😌 😆 😁 😉 😜 😝 😀 😗 😙 😛 😴 😟 😦 😧 😮 😬 😕 😯 😑 😒 😅 😓 😥 😩 😔 😞 😖 😨 😰 😣 😢 😭 😂 😲 😱

LSTM

---

Abstract

部署了LSTM网络，用于预测1992年至2015年标准普尔500成份股的样本外方向运动。

1. Introduction

使用LSTM研究all S&P 500 constituents from 1992 until 2015。

2. Data, software, hardware

2.1. Data

对于实证应用，我们使用来自汤森路透的标准普尔500指数成分股。为了消除幸存者偏差，我们首先从汤森路透(Thomson Reuters)获得1989年12月至2015年9月标准普尔500指数(S&P 500)的月末组成名单。我们将这些列表合并到一个矩阵中，表示该股票是否为随后一个月的指数组成部分。因此，我们能够大致重现1989年12月至2015年9月间任何给定时间点的标普500指数。

第二步，我们下载从1990年1月到2015年10月的每日总回报指数(daily total return indices)。回报指数是股息价格(cum-dividend prices)，反映了所有相关的公司行为和股票分拆，使其成为计算回报最合适的指标。根据Clegg和Krauss(2016)的数据，我们在表1中报告了按行业划分的平均汇总数据。它们基于每个行业的等权重投资组合，按月生成，并仅限于标普500指数的组成部分。

3. Methodology

3.1. Generation of training and trading sets

定义了一个"study period" 作为"training-trading set"，其中training period 为750天，trading period为250天。将从1990年到2015年的全部数据集划分为23个不存在重叠交易的研究时期。令$n_i$表示"study period"$i$的最后一天的标准普尔500成分股的股票数量。

对于训练集，我们考虑所有的$n_i$股票及其历史。有些股票展示了整整750天的训练历史，有些只是这个时间框架的一个子集，例如，当它们在稍后阶段上市时。交易集也是由所有$n_i$股票组成。如果某一成分在交易期内某一天之后没有显示价格数据，则认为该成分在该天之前一直在交易。

3.2. Feature and target generation

3.2.1. Features - Return sequences for LSTM networks

令$P_s=(P_t^s{)}_{t\in T}$为“股票$s$在$t$时刻的价格”。其中 s ∈ { 1 , . . . , n i } s\in \{1,...,n_i\} s∈{1,...,ni​}，$R_t^{m,s}$为$m$时间段后的simple return。

$$R_t^{m,s}=\frac{P_t^s}{P_{t-m}^s}-1\text{\hspace{1em}(1)}$$

当$m=1$时即$R$为$P_t$与$P_{t-1}$的比值减$1$。我们以$m=1$计算每只股票$s$在第$t$天的$R$值，然后装入维度为$n_i\times T_{study}$的向量$V$，其中$T_{study}$为天数。我们结合序列的均值${\mu }_{train}^m$与方差${\sigma }_{train}^m$得到下式：

$${\tilde{R}}_t^{m,s}=\frac{R_t^{m,s}-{\mu }_{train}^m}{{\sigma }_{train}^m}\text{\hspace{1em}(2)}$$

令$m=1$并选择序列长度为$240$。每隔一天就形成一个新的序列，如下图：

这样study period总共包括了$380,000$条序列，取$250,000$条用于样本内训练，$125,000$条用于样本外预测。

3.2.2. Targets

为了可比性，本文遵循Takeuchi and Lee (2013)定义的一个二元分类问题。即每个股票$s$和日期$t$的响应变量$Y_{t+1}^s$可以取两个不同的值。为了定义这两个类别，我们按升序排列所有一期收益$R_{t+1}^{1,s}$，在$t+1$期所有股票$s$，并把它们分成两个大小相等的类别。

如果股票$s$的一期收益率$R_{t+1}^{1,s}$小于所有股票在$t+1$期间的截面收益率中值，则实现类别$0$。类似地，如果$s$的单周期返回值大于或等于截面中值，则实现第$1$类。

3.3. LSTM networks

使用交叉熵作为目标函数。

对于LSTM网络的培训，我们通过keras应用了三种先进的方法。

• 首先，我们使用RMSprop作为优化器，RMSprop是rprop的一个mini-batch处理版本(Tieleman ans Hinton, 2012)。RMSprop“通常是循环神经网络的好选择”(Chollet, 2016)。
• 其次，在Gal和Ghahramani(2016)之后，我们在递归层中应用dropout正则化。因此，在训练期间，在输入门和循环连接处，每次更新时都随机丢弃一部分输入单元，从而降低了过拟合的风险，提高了泛化能力。
• 第三，我们利用早期停止作为进一步的机制，以防止过拟合。

在此，我们将训练样本分为两个集合，一个是训练样本，一个是验证样本。第一个集合用于训练网络，反复调整网络的参数，使损失函数最小化。在每个历元(一次通过第一组样本)之后，网络预测验证集中未见的样本，并计算验证损失。一旦验证损失在耐心期间没有减少，训练就会停止，并且恢复验证损失最低的模型的权重(参见Chollet中的ModelCheckpoint回调(2016))。Granger(1993)建议保留大约20%的样本作为“样本后”数据，之后我们使用80%的训练样本作为训练集，20%作为验证集，最大训练持续时间为1000个epoch，早期停止patience为10。

3.4. Benchmark models - random forest, deep net, and logistic regression

选用随机森林、深度神经网络(DNN)和逻辑回归方法对LSTM进行基准测试。

3.5. Forecasting, ranking, and trading

对于所有模型，我们只利用时间t之前的信息，预测每只股票在$t+1$期间表现超过/低于横截面中位数的概率${\tilde{P}}_{t+1|t}^s$。然后，我们按照该概率的降序对每个$t+1$期间的所有股票进行排名。排名最高的对应的是最被低估的股票，这些股票在$t+1$中的表现有望超过横截面中位数。因此，对于由$2k$股组成的多空投资组合，我们对每个排名的顶部$k$股进行多头，对翻牌$2k$股进行空头—见Huck(2009，2010)。

4. Results

4.1. Performance review

4.1.1. Overview

4.1.2. Details on predictive accuracy