TLOB：基双重注意力机制的Transformer模型，用于LOB股价趋势预测，F1-Score高达92.8%

小天才学习机打游戏

于 2025-03-22 10:22:40 发布

阅读量1.1k

点赞数 11

文章标签： transformer 人工智能深度学习大数据制造前端华为

本文链接：https://blog.csdn.net/m0_59164520/article/details/146435568

版权

“TLOB: A Novel Transformer Model with Dual Attention for Stock Price Trend Prediction with Limit Order Book Data”

全球金融市场经历了从手动交易到电子交易平台的转变，2020年美国99%的股票交易为电子交易，2000年仅为15%。电子限价订单簿（LOB）是现代金融市场的核心，实时反映供需平衡。LOB数据的多维结构和非平稳性使得市场行为理解、股票价格趋势预测和市场条件模拟变得复杂。传统统计方法难以捕捉LOB数据的复杂性，尤其在短期价格趋势预测方面。

摘要

基于限价订单簿（LOB）数据的股票价格趋势预测是金融市场中的一大挑战，现有深度学习模型在不同市场条件下泛化能力不足，短期趋势预测效果不佳。通过简单的多层感知器（MLP）架构，研究表明可以超越现有最先进的性能，挑战复杂架构的必要性。

本文提出TLOB模型，采用双重注意机制捕捉LOB数据中的空间和时间依赖性，适用于长时间预测和波动市场条件。引入新标记方法，消除预测时的时间偏差。TLOB在FI-2010基准测试中取得92.8%的F1分数，在特斯拉和英特尔股票上分别提高了2.67%和14.16%的F1分数。实证显示股票价格可预测性随时间下降（F1分数下降6.68个绝对点），反映市场效率提高。考虑交易成本，使用平均价差定义趋势，结果显示将趋势分类转化为盈利交易策略的复杂性。研究为股票价格趋势预测提供新见解，并为金融AI的未来发展奠定基础。

简介

股票价格趋势预测（SPTP）是金融市场中的重要且复杂问题，尤其在高频交易中利用限价订单簿（LOB）数据。预测市场动向面临挑战，因市场的复杂性、非平稳性和波动性，但深度学习的进步为提高预测准确性提供了新机会。现有模型在不同市场条件下缺乏鲁棒性和泛化能力，本文提出了TLOB模型，基于变换器架构，超越现有模型表现。提出了MLPLOB模型，展示简单架构也能超越现有最先进模型。

本文新架构提案、全面评估（FI-2010和NASDAQ数据集）、新标记方法、历史比较及替代阈值定义。

背景

电子限价订单簿（LOB）是现代金融市场中记录和管理交易的主要机制。主要订单类型：市场订单（立即以最佳价格执行）、限价订单（设定买入/卖出价格和数量）、取消订单（删除活跃限价订单）。LOB 结构持续更新，透明可供所有市场参与者访问，遵循预定规则。连续双向拍卖（CDA）是最常用的订单匹配机制，订单在最佳买价和卖价重叠时执行。证券价格通常定义为最佳买价和卖价的中间价，差价为买卖差价。LOB 的时间演变是复杂的多维时间问题。LOB 数据研究可分为四类：LOB 动态的实证分析、价格和波动性预测、LOB 动态的随机建模、LOB 市场模拟。

相关工作

LOB数据的复杂性促使深度学习算法在股票价格趋势预测（SPTP）任务中的应用，主要是高频率的中价运动预测。Tsantekis等（2017）提出了基于LSTM的RNN和CNN模型，后续又提出了结合CNN和LSTM的CNNLSTM架构。Tran等（2018）提出了TABL模型，利用双线性变换捕捉特征间的依赖关系，后续扩展为BINCTABL以应对非平稳性。Passalis等（2019）引入DAIN模型，通过自适应归一化处理数据，增强了多种架构的性能。Zhang等（2019）提出DEEPLOB，结合卷积层和LSTM，2021年扩展为DEEPLOBATT，加入注意力机制以改善长序列处理。Kiesel等（2022）提出Axial-LOB，利用轴向注意力分解2D注意力。Prata等（2022）评估了15种深度学习模型，发现大多数在新数据集上表现不佳，尤其是NASDAQ股票，模型对超参数和上下文高度敏感，导致不可靠。另一研究方向是元学习Transformer模型TabPFN，适用于小型表格数据，但在大规模LOB数据上计算成本高，实用性差，需更可扩展的深度学习架构。

任务定义

LOB（限价单簿）记录表示为时间序列 L(t)，包含四个元素：买入和卖出价格及其对应的交易量。

价格趋势采用三分类系统：U（上升）、D（下降）、S（稳定）。中间价格是股票价格的可靠指标，但受市场波动影响，标签可能噪声较大。为减少噪声，常用平滑中间价格的方法，但仅平滑未来价格可能导致交易信号不稳定。提出同时平滑过去和未来价格的方法，但窗口长度与预测视野相同可能导致标签偏差。

新的标签策略将窗口长度与预测视野分离，定义了新的平滑和趋势分类方法。趋势分类依据是与阈值 θ 的比较，建议将 θ 设为平均价差的百分比，以更好地与交易成本对齐。

实验中对比了原始标签方法与新标签策略，后者在处理不同预测视野时表现更佳。

模型

本文提出了两种基于深度学习的股票价格趋势预测模型：MLPLOB（简单的MLP模型）和TLOB（基于双重注意力的Transformer模型）。两个模型的输入为最近𝑇个LOB快照的时间序列数据，涵盖10个LOB层级。

MLPLOB

Prata等人的基准研究发现，尽管专门的深度学习架构在SPTP任务中增多，但在复杂数据集上的表现往往较低。受Tolstikhin和Zeng等人工作的启发，开发了基于MLP的SPTP架构MLPLOB，旨在与最先进的方法相媲美。

MLPLOB由多个块组成，包含特征混合MLP和时间混合MLP，旨在捕捉LOB数据的空间和时间关系。特征混合MLP逐行应用于输入序列，时间混合MLP则逐列应用于转置后的结果。MLPLOB架构简单，仅依赖矩阵乘法、重塑操作和标量非线性，采用各块恒定维度的各向同性设计。最终预测通过降维将特征合并为单一向量，经过全连接层输出最终时间步的趋势（上升、下降或稳定）。

MLPLOB的目标是证明结构良好的MLP模型可以在SPTP任务中匹敌或超越更复杂的架构。

TLOB

Transformer架构在深度学习和自然语言处理、时间序列建模中取得重大突破，适合处理大规模金融数据。本文提出TLOB架构，专为限价订单簿（LOB）数据设计，包含：

时间轴自注意力：捕捉连续LOB快照间的时间依赖。
空间轴自注意力：捕捉不同价格-成交量特征间的空间关系。
MLPLOB模块：增强空间和时间信号的结合能力。

TLOB通过双重注意力机制处理LOB数据的时间和空间依赖，进行消融研究以评估各类注意力层的重要性。使用双线性归一化层应对金融时间序列的非平稳性和幅度差异，适应批次特定统计。引入正弦位置编码以保持LOB窗口内的时间顺序，确保模型尊重快照的时间演变。TLOB结合双重自注意力和MLPLOB，旨在捕捉LOB数据中的复杂市场微观结构，适合大数据集的有效扩展。

实验

对MLPLOB和TLOB模型在FI-2010和TSLA-INTC数据集上的训练和测试进行了全面评估。TLOB和MLPLOB在所有数据集和预测时间段上均超越了现有最优性能。TLOB在较长时间段表现最佳，MLPLOB在较短时间段表现最佳。

研究旨在验证模型的预测能力并推动深度学习在金融预测中的应用理解。研究问题包括：

股票价格预测是否比过去更难？
选择平均价差作为𝜃的影响？
时间和空间注意力是否必要？

TSLA-INTC数据集

研究采用特斯拉和英特尔两只NASDAQ上市股票的LOB数据，时间范围为2015年1月2日至30日，共20个交易日，约2400万样本。数据集样本格式为价格和对应交易量的元组，分为训练（前17天）、验证（第18天）和测试（最后两天）集。认为市场微观结构特征与个股行为独立，特定股票属性对分析非关键。采用基于交易量的采样策略，每500股交易后采集LOB快照，以平衡时间一致性和样本变异性。

FI-2010基准数据集

模型将使用FI-2010基准数据集评估，该数据集是深度学习在限价单簿（LOB）应用中的广泛采用的标准。FI-2010数据集包含来自五家芬兰公司（Kesko Oyj、Outokumpu Oyj、Sampo、Rautaruukki、Wärtsilä Oyj）的LOB数据，涵盖2010年6月1日至14日的十个交易日，约400万条限价单快照。数据以每十个事件为间隔采样，共394,337个样本。每个数据点的标签基于当前中价与后续中价的百分比变化，使用公式计算。数据集提供五个不同预测视野（h ∈ H = {10, 20, 30, 50, 100}）的时间序列和对应的类别标签。所有视野使用统一阈值𝜃 = 2 × 10^−3，以平衡h = 50的类别。

实验设置

在不同的预测时间范围（10, 20, 50, 100）上训练和测试模型，使用RTX 3090进行实验。FI-2010数据集包含104个手工特征，使用后F1-Score提高约1%。对于Tesla和Intel，结合订单信息增强LOB快照，F1-Score提高约1.5%。

基线模型包括3个机器学习模型（SVM、随机森林、XGBoost）和8个深度学习模型（如MLP、LSTM、DeepLOB等）。由于计算限制，仅选择FI-2010中表现最佳的DeepLOB和BiN-CTABL模型在TSLA-INTC数据集上进行训练和测试。

设定趋势分类阈值𝜃为平均百分比变化，以确保类分布平衡；FI-2010数据集保持原标签。选择F1-score作为主要性能指标，因其能有效应对类不平衡问题，且在相关文献中广泛使用。

结果

FI-2010

MLPLOB和TLOB在高召回率下也表现出高精确度，且在所有召回水平上均优于其他模型。基线结果来源于Prata等人的基准研究，设置与FI-2010数据集相同。MLPLOB和TLOB超越了[33]中分析的所有其他模型，展现了最先进的性能。MLPLOB在前三个时间段表现最佳，MLPLOB与TLOB之间的性能差异微小，原因在于FI-2010数据集的复杂性较低。

特斯拉和英特尔

对于英特尔，模型在低召回率下表现出色，能够准确识别自信的正实例。MLPLOB在短期预测（10、20天）中优于其他模型，而TLOB在长期预测（50、100天）中表现最佳，因其擅长处理长距离依赖。MLPLOB与TLOB在短期预测的性能差异较小（约0.5），而在长期预测中差异显著（约7）。随着预测时间的延长，预测难度增加，且与FI-2010相比，NASDAQ股票的预测性能普遍较低，可能因其流动性和效率较低。所有模型均训练至收敛，TLOB和MLPLOB的收敛速度快于BiNCTABL和DeepLOB。

股市比过去更难预测了吗？

市场预测面临挑战，预测模式随时间自我消亡。研究表明，某些时期有效的预测模型会失效。Dimson和Marsh发现英国小盘股溢价的可预测性消失。Bossaert和Hillion指出1990年后国际股票回报的可预测性下降。Aiolfi和Favero报告1990年代美国股票的类似发现。随着时间推移，市场效率提高，预测难度加大。对TLOB模型的测试显示，2012年表现优于2015年，验证了假设。

使用平均价差的可选阈值定义

预测性需与交易成本相关联，提出将趋势分类参数𝜃设为中价的平均价差百分比。该方法仅适用于特斯拉数据，因英特尔交易量高且波动性低，导致99.99%的趋势被分类为平稳。设定的时间范围为50、100和200，因较短时间范围内99%的中价变动被视为平稳。实验结果显示表现下降，可能因类别不平衡所致。强调在追求盈利的实际应用中，趋势定义和方法复杂性需进一步改进。

消融分析

在FI-2010数据集上进行的消融研究评估了TLOB架构中各注意力机制的贡献。比较了完整TLOB模型与去除空间注意力（TLOB w/o SA）和去除时间注意力（TLOB w/o TA）的两个版本。保持总层数固定为8。

表7展示了四个预测时间点（h = 10, 20, 50, 100）下各模型的F1分数。完整TLOB模型在所有预测时间点上均优于两个消融版本。强调了同时捕捉空间关系和时间依赖性的重要性，双重注意力机制有效学习互补信息，提升预测准确性。

总结

本文提出了两种新深度学习模型：MLPLOB（简化的MLP架构）和TLOB（基于Transformer的方法），用于基于限价单簿数据的股票价格趋势预测。两种模型在性能上优于现有的最先进方法，TLOB在处理高频市场数据方面表现尤为突出。预测NASDAQ股票（如特斯拉、英特尔）比芬兰股票（FI-2010）更具挑战性，且预测准确性随预测时间跨度增加而下降。实际应用中，基于平均价差定义趋势阈值对模型评估和潜在盈利能力有显著影响，反映了学术性能指标与实际交易适用性之间的差距。

未来研究方向包括金融深度学习模型的规模法则、应对市场效率和复杂性的方法，以及更符合实际交易约束的趋势定义方法。提出的方法尚不成熟，存在显著风险，包括模型的可解释性不足和自动化AI模型可能加剧金融市场的系统性脆弱性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述