对抗性注意力LSTM模型提高股票价格变动预测

对抗性注意力LSTM模型提高股票价格变动预测

原创 QuantML QuantML 2024-05-22 17:52 上海

Content

论文下载地址：http://arxiv.org/abs/1810.09936

引言

论文提出了一种新的机器学习方法，通过对抗性训练（Adversarial Training）来增强神经网络模型在预测股票价格变动方面的泛化能力。传统的股票预测模型由于股票价格的随机性，容易发生过拟合。股票价格受市场行为的动态变化和随机性影响较大。作者建议通过对抗性训练模拟这种随机性，从而创建一个更加稳健的预测模型。

问题表述

股票变动预测任务被框定为一个分类问题，目标是根据股票的历史价格数据预测股票未来的方向（上涨或下跌）。输入由一系列时间步长上的特征序列（例如开盘价和收盘价）组成，模型被训练来输出下一个时间步的预测结果。

对抗性注意力LSTM（Adv-ALSTM）

对抗性注意力LSTM（Adversarial Attentive LSTM，Adv-ALSTM）是结合了对抗性训练和注意力机制的长短期记忆网络（LSTM）模型，用于提高股票价格变动预测的准确性和鲁棒性。下面详细介绍Adv-ALSTM的结构和工作原理。

    1. 模型架构

    Adv-ALSTM主要包括以下几个部分：

        1.1 特征映射层（Feature Mapping Layer）

        特征映射层将输入的原始股票特征（如开盘价、收盘价等）投射到一个潜在空间。这一层通过一个全连接神经网络实现，具体过程如下：ht=tanh(Whxt+bh) 其中，𝑥𝑡xt是输入的原始特征，Wh 和bh是权重矩阵和偏置向量，ht是投射到潜在空间的特征表示。

        1.2 LSTM层（LSTM Layer）

        LSTM层用于捕捉时间序列数据的长期依赖关系。LSTM单元通过记忆和遗忘机制处理时间步长序列，生成隐藏状态序列：ht,ct=LSTM(ht−1,ct−1,ht)其中，ct是细胞状态，ht是隐藏状态， LSTM函数表示LSTM单元的更新过程。

        1.3 时间注意力层（Temporal Attention Layer）

        时间注意力层通过注意力机制聚合不同时间步的隐藏表示，生成一个整体表示。注意力机制通过为每个时间步的隐藏状态分配不同的权重，来突出重要的时间步：

        1.4 预测层（Prediction Layer）

        预测层将注意力层的整体表示𝑟r与LSTM的最终隐藏状态结合，生成最终的预测结果。具体实现如下：y=σ(Wy[r;hT]+by)其中，Wy和by是预测层的权重和偏置，hT是最后一个时间步的隐藏状态，[r;hT]表示将r和hT连接起来，σ是激活函数（如sigmoid或softmax）。

    2. 对抗性训练（Adversarial Training）

    对抗性训练通过引入小扰动来增强模型的鲁棒性。这些扰动旨在最大化模型的预测误差，从而使模型在训练过程中学会抵抗这些扰动。

        2.1 对抗性样本生成（Adversarial Examples Generation）

        对抗性样本是通过在输入特征上添加小的扰动生成的。具体的扰动计算使用快速梯度方法（Fast Gradient Method），步骤如下：x′=x+ϵ⋅sign(∇xJ(θ,x,y))其中，x是原始输入，ϵ是扰动的幅度， ∇xJ(θ,x,y)是损失函数对输入x的梯度。

        2.2 训练目标（Training Objective）

      训练过程中，损失函数结合了对干净样本和对抗性样本的损失，具体为：𝐿=𝛼𝐿clean+𝛽𝐿adv 其中，𝐿clean是干净样本的损失，𝐿adv是对抗性样本的损失，𝛼和𝛽是权重系数。

贡献

泛化能力研究：分析了由于股票价格的随机性，股票预测模型难以泛化的问题。

对抗性训练方法：提出了一种通过在训练过程中使用干净和对抗性样本来处理随机性的方法。

实证验证：通过大量实验表明，所提出的方法在准确性和鲁棒性方面优于最先进的模型。

实验结果

作者在两个真实的股票数据集上进行了实验，发现他们的对抗性训练方法在预测准确性方面显著优于现有方法。对抗性训练后的模型对股票价格数据中的固有噪声更具鲁棒性，表现出更好的泛化能力。

论文及代码下载见星球。