解读：一种元增量学习方法用于自适应股票市场动态变化预测

·

论文 | Meta contrastive label correction for financial time series

·

·

论文 | DoubleAdapt: A Meta-learning Approach to Incremental Learning for Stock Trend Forecasting

代码 | https://github.com/SJTU-Quant/qlib

一 摘要

在股票趋势预测任务中，市场的动态变化会导致模型的失效。本文提出了DoubleAdapt的元增量学习方法。该方法通过自适应数据和模型来应对在线环境中的分布变化，实现了预测性能的显著改善。相对于最佳基线方法，DoubleAdapt在IC、ICIR等指标上获得了约8%的提升，并使得策略收益提高了10%。

二 问题介绍

股票趋势预测需要根据历史数据预测股价的未来趋势变化。然而，由于股市的动态演变，未来数据的分布可能与历史数据分布存在显著不同。因此，研究者通常会使用增量学习的方法来进行股票模型的训练。增量学习是指在现有模型的基础上，通过加入新的数据来更新模型的过程。与传统的批量学习不同，增量学习可以更好地适应数据的变化，同时也更加高效，因为只需要处理新增的数据而无需重新训练整个模型。

传统的增量学习方法在股票趋势预测中仍然存在局限性，主要是由于分布变化的挑战。增量数据和测试数据的分布差异可能会影响整体性能，使得模型无法从增量数据中受益。

三 本文方法

本文提出了一种名为DoubleAdapt的方法，旨在通过适应数据和模型来解决增量学习中的分布变化问题。该方法包括两个适配器，一个用于数据适应，一个用于模型参数初始化，并通过元学习进行优化。作者将每个增量学习任务形式化为一个双层优化问题，其中模型参数在适应的增量数据上微调，适配器则根据适应的测试数据的误差进行优化。实验结果表明，DoubleAdapt在股票趋势预测任务上表现显著优于基线。

3.1 定义描述

定义1：股票价格趋势
我们将日期𝑡的股票价格趋势定义为第二天的股票价格变化率，即：

𝑦(𝑡) = 𝑃𝑟𝑖𝑐𝑒(𝑡+1) − 𝑃𝑟𝑖𝑐𝑒(𝑡) / 𝑃𝑟𝑖𝑐𝑒(𝑡)

其中，𝑃𝑟𝑖𝑐𝑒(𝑡)表示日期𝑡的股票收盘价，也可以是开盘价或加权平均价格（VWAP）。我们使用特征向量𝑥(𝑡) ∈ R^D来描述日期𝑡的股票，其中𝐷是特征维度。例如，我们可以使用近期的开盘价、收盘价和其他指标来构建特征向量𝑥。股票价格趋势𝑦是相应的标签。假设股票市场包括𝑆只股票，那么在日期𝑡时刻，𝑆只股票的特征和标签的集合可以分别表示为X(𝑡)∈R^(S×D)和Y(𝑡)∈R^S。
股票趋势预测的目标是在历史数据集合{(X(𝑡),Y(𝑡))}上训练预测模型𝐹，并使用该模型来预测未来数据集合{(X(𝑡),Y(𝑡))}。

定义2：股票趋势预测的增量学习任务

在在线场景中，新数据会不断到来，因此增量学习技术应用于股票趋势预测具有很大的潜力。然而，股票市场的数据分布很容易随时间变化而发生变化，这会对增量学习构成挑战。具体而言，增量数据与历史数据可能具有不同的联合分布，包括条件分布和协变量分布的变化。这意味着在进行增量学习时需要平衡模型更新的程度，以避免过拟合或欠拟合模型。

在股票趋势预测的增量学习中，我们通过一系列增量任务来逐步更新模型参数。在每个任务中，我们使用增量数据来微调模型参数，并在测试数据上进行预测并评估模型性能。为了在所有测试日期中获得最佳整体性能，我们需要平衡每个任务中的模型更新和测试数据的变化。如果数据分布发生变化，对增量数据的过度更新会导致过拟合问题，而不足的更新可能会导致欠拟合模型。

3.2  如何适应分布变化

为了应对分布变化，有两个方向可以关注。一个是缩小增量数据和测试数据之间的差距，以便在更加稳定的分布上进行增量学习。另一个是增强模型对分布变化的泛化能力。DoubleAdapt通过在每个增量学习任务中进行数据适应和模型适应来解决这两个问题。具体而言，DoubleAdapt包括两个适配器，一个用于数据适应，一个用于模型参数初始化。通过元学习，适配器可以根据适应的测试数据的误差进行优化，以提高模型的泛化能力，并缩小增量数据和测试数据之间的差距，从而实现更加稳定的增量学习。

数据适应

数据适应是指通过调整训练数据的特征和标签来适应不同的数据分布或减轻数据分布变化的影响。一些迁移学习方法重新采样所有历史数据为一个新的训练集以适应未来数据的分布。然而，在增量学习中，这种粗粒度适应会失败，因为增量数据的规模有限，不足以揭示未来的模式。因此，文章提出了一种精细适应的方法，将增量数据的所有特征和标签以精细的方式进行适应，以减轻分布变化的影响。

本文作者认为，某些分布变化模式会在历史数据中重复出现，可以被学习。例如，股票价格可能会对某些牛市消息和情绪投资过度反应，而价格和趋势模式往往会在未来几周内转向正常。因此，作者建议通过特征和标签适应来收回过度反应的特征和标签，以接近未来的趋势。此外，作者指出将具有不同分布的测试数据适应到增量数据分布中具有去偏效果。因此，作者建议将训练数据集和测试数据集都进行适应，以缩小它们之间的分布差距。

在技术实现上，由于测试数据的标签在模型推理时是未知的，我们无法直接对齐训练数据集分布和测试数据集分布。DoubleAdapt将分布变化分解为协变量分布变化和条件分布变化并分别进行处理。首先，DoubleAdapt使用映射函数𝐺将训练数据集和测试数据集的特征适应到代理特征分布P_agent(x)，以减轻协变量变化。其次使用另一个映射函数𝐻来适应训练数据集D_train的标签，将训练数据集D_train的条件分布P_train(𝑦|x)适应到可能的未来分布P_agent(𝑦|x)以处理条件分布变化。作者希望映射函数𝐻能够将标签从测试数据集D_test的条件分布P_test(𝑦|x)投影到代理条件分布P_agent(𝑦|x)，以便适合代理条件分布P_agent(𝑦|x)的预测模型可以精确地预测测试数据的适应标签。最后需要将模型输出从代理条件分布P_agent(𝑦|x)反向映射到测试数据集D_test的条件分布P_test(𝑦|x)。通过特征和标签适应，DoubleAdapt缩小了训练数据集D_train和测试数据集D_test之间的分布差距，以减轻分布变化问题。

注：本文的参数省略了上标k，默认k指代第k个增量学习任务。

模型适应
通常增量学习通过在先前任务中学习的参数初始化模型，并在增量数据上更新初始参数。如果更新后的参数落入局部最优并过拟合增量数据，那么分布变化会妨碍测试性能。这促使我们为每个增量学习任务学习一个良好的参数初始化。一方面，每个任务的初始参数需要保留历史经验并保持对分布变化的泛化能力。另一方面，在增量学习中，参数仍然需要有效地记忆任务特定信息，而不会被困在过去的经验中。因此，我们强调另一个重要的方向，即优化每个增量学习任务的初始参数，使其具有鲁棒性和适应性。

元学习优化
为了解决这个问题，我们提出了元学习优化目标，以指导有数据适应和参数初始化（模型适应）。在元学习中，我们旨在在数据层面上减轻分布变化，在参数层面上增强泛化能力。理想情况下，数据适应应该使两个数据集的分布更加相似，但仍然能够为预测模型提供有用的信息。然而，手动设计适当的数据适应是不可行的，因此我们采用神经网络而不是归一化来减轻元学习中的分布变化，以保留原始的统计指标，这些指标是关键的任务特定信息，值得在在线设置中记忆。

3.3 DoubleAdapt框架

上图展示了DoubleAdapt框架结构，由三个关键组件组成：具有参数𝜃的预测模型𝐹，具有参数𝜙的模型适配器𝑀𝐴，以及具有参数𝜓的数据适配器𝐷𝐴。𝐷𝐴包含一个特征适应层𝐺和一个标签适应层𝐻，以及其逆函数𝐻^−1。𝐹的实现可以由任何用于股票趋势预测的神经网络实现，例如GRU和ALSTM。

对于每个增量任务（D_train，D_test），DoubleAdapt包括以下四个步骤：

（1）增量数据适应。给定增量数据D_train，𝐷𝐴通过𝐺将每个特征向量x进行转换，并通过𝐻转换相应的标签𝑦，生成一个适应的增量数据集D_train。

（2）模型适应。𝑀𝐴通过参数权重𝜙𝑘−1初始化预测模型。按照增量学习方法，在适应的增量数据集D_train上对预测模型进行微调，生成任务特定的参数𝜃𝑘。然后将更新后的预测模型𝐹（𝜃_𝑘）在线部署。

（3）在线推断。对于D_test中每个样本的x，𝐷𝐴通过𝐺将将每个特征向量x进行转换。然后，𝐹（𝜃_𝑘）采用转换后的特征向量x，生成一个中间预测𝑦，该预测将通过𝐻^−1转换为最终预测𝑦。通过转换D_test中的原始特征获得的适应测试数据集 D_test表示。

（4）元学习优化。一旦获得所有地面真实标签，通过计算最终预测误差L_test，在上层优化元学习器（即𝐷𝐴和𝑀𝐴）。元学习器的参数从𝜙_𝑘−1和𝜓_𝑘−1更新到𝜙_𝑘和𝜓_𝑘，这些参数用于下一个增量学习任务。元学习过程本质上是一个双层优化问题，其中步骤（2）中的微调是下层优化，步骤（4）中的优化是上层优化。

下面是算法的伪代码：

四 实验分析

4.1 基线方法

本文对比了2种滚动重训练的方法和3种增量学习方法。

滚动重训练方法：
• RR：RR是滚动重训练的缩写，它定期使用相等的权重在所有可用数据上重新训练模型。
• DDG-DA ：该方法顺序预测下一个时间步的数据分布，并重新加权所有历史样本以生成一个训练集，该训练集的分布类似于预测的未来分布。
增量学习方法：
• IL：这种方法是一种朴素的增量学习基线，仅通过梯度下降调整最近的增量数据来微调模型。
• MetaCoG：该方法引入了一个每个参数的掩码，根据上下文选择特定于任务的参数。MetaCoG更新掩码而不是模型参数，以避免灾难性遗忘。
• C-MAML：该方法遵循MAML，预训练慢权重，可以产生快速权重以适应新任务。在在线时间，C-MAML保持微调快速权重，直到检测到分布转移，然后更新慢权重并用于初始化新的快速权重。
• DoubleAdapt：本文提出的方法。DoubleAdapt学习初始化参数，特别是学习适应特征和标签，缓解了分布转移问题。

4.2 实验结果

本文在中国A股市场的CSI 300和CSI 500两个真实股票数据集上评估了DoubleAdapt框架。使用的股票特征来自Qlib平台的Alpha360，每个股票包括6个指标。数据被分为训练集、验证集和测试集。评估指标包括IC、ICIR、Rank IC、Rank ICIR、Return和IR。实验运行了10次，并报告了平均结果。

在本文实验中，与其他基线模型相比，DoubleAdapt模型在大多数情况下表现最好，尤其是相对于MetaCoG等方法，更能精确地预测股票趋势。此外，DoubleAdapt还可以通过使用更强大的骨干网络来始终获得更好的性能。值得注意的是，C-MAML有时会在CSI 500上实现更高的ICIR或Rank ICIR，但这是因为它可以根据测试误差调节元学习器的学习率，而这种更新模式也可以集成到DoubleAdapt模型中以获得进一步改善。

五 总结展望

本文提出了一种名为DoubleAdapt的元增量学习方法，用于股票趋势预测。作者提出了以细粒度的方式将数据调整为局部平稳分布，为预测模型分配具有初始参数的权重，这些参数可以快速地适应增量数据，并且在面对分布变化时仍然具有很好的泛化性能。在实际数据集上的实验表明，DoubleAdapt是通用且高效的，并在股票趋势预测任务中获得了显著的提升。后续工作将尝试将本文工作与滚动重新训练的方法相结合，以避免长时间在线增量学习后的灾难性遗忘问题。

END