2023/11/26周报

摘要

为了解决金融预测中过度拟合的限制，文章提出了一种新的深度迁移学习框架（ADA-FTSF），该框架结合了对抗性领域自适应，用于金融TSF任务。以提高深度预测模型的可靠性、准确性和竞争力，文中实现了一个典型的对抗域自适应架构，来转移特征知识，减少金融数据集之间的分布差异。为了减少预训练过程中的形状差异，在对抗训练阶段巧妙地引入了动态时间规整（DTW）的平滑公式来衡量形状损失。基于通过Copula熵计算转移熵的时间因果发现方法来选择适当的源数据集，这对预测性能很大影响。通过对三个领域（金融指数、能源期货和农产品期货）不同金融数据集的实证实验、消融研究、Diebold-Mariano检验和参数敏感性分析，验证了该框架的可行性和有效性。

Abstract

In order to solve the limitation of over-fitting in financial forecasting, this paper proposes a new deep transfer learning framework, which combines antagonistic domain adaptation and is used for financial TSF tasks, which is abbreviated as ADA-FTSF. In order to improve the reliable, accurate and competitive depth prediction model. Specifically, this paper implements a typical adaptive framework of confrontation domain to transfer feature knowledge and reduce the distribution differences between financial data sets. In order to reduce the shape difference in the pre-training, the smoothing formula of dynamic time warping (DTW) is skillfully introduced in the confrontation training stage to measure the shape loss. The time causal discovery method based on Copula entropy transfer entropy is used to select the appropriate source data set, which greatly affects the prediction performance. The feasibility and effectiveness of the framework are verified by empirical experiments, ablation research, Diebold-Mariano test and parameter sensitivity analysis on different financial data sets in three fields (financial index, energy futures and agricultural futures).

创新点

对于关于金融TSF的迁移学习任务，源数据集应该保证在日期级别上无泄漏，而不仅仅是使用DTW进行序列形状的对齐。简单地删除缺失值将导致扰乱日期顺序，并提前披露不同的金融市场信息。文章使用线性插值来填充缺失值，从而对齐源域和目标域的数据规模。通过变量间的因果关系分析，从多个潜在源域中选择影响最大的源域。研究的主要贡献可以简要总结如下：
首先构建了一个新的深度迁移学习框架ADA-FTSF，该框架结合了跨不同金融数据集的典型对抗域适应架构，同时确保数据规模的一致性和日期级别的未来信息不提前暴露。下图1直观地显示了它的图表。其次，文中提供了一个新的角度来选择源域，即基于Copula熵转移熵的时间因果发现方法。注意，转移熵是通过推导copula熵来计算的，而不是传统的计算方法。第三，在对抗训练阶段巧妙地引入了DTW的平滑泛化，称为soft-DTW，以衡量源时间序列的预测结果与目标时间序列的地面真实值之间的形状相似性。该损失函数的引入增强了金融TSF任务的预训练模型的泛化能力，在目标域中具有更好的初始化参数。最后，该框架在LSTM、TCN和GRU上的成功应用证明了该方法是模型不可知的。
此外，ADA-FTSF在三个不同领域的金融数据集的迁移学习过程中表现出良好的预测和泛化性能。通过参数敏感性分析、消融研究和Diebold-Mariano（DM）检验评估了所提出框架的预测稳健性和可靠性。

图一：

方法

用于选择潜在源域的时间因果关系发现

深度神经网络中的迁移范式是利用源数据集选择适当的预训练模型，并利用目标数据集微调参数。本文采用基于距离和基于特征的测度计算序列的相似度，并选择相似度最大的时间序列作为源域。

转移熵

文中提供了一个新的视角，使用时间因果发现的迁移学习任务的TSF的潜在源域的选择。Granger提出了著名的格兰杰因果检验，但它只适用于高斯分布的情况。Schreiber定义了转移熵（TE）的概念，用于发现稳态时间序列中的因果关系。TE是GC的非线性推广，等价于信息论中的条件互信息，如下所示：

转移熵具有模型不可知和不需要对数据分部进行假设的优点，是常用的测量标准之一。它测量从一个变量传递到另一个变量的信息量。也就是说，给定一个原因变量和一个结果变量，可以通过减少结果变量的不确定性来推断它们之间的因果关系。

Copula熵

Ma定义了Copula熵的概念，并证明了它与信息论中的互信息是等价的。它由Copula密度函数定义，设x是随机变量，其边际分布u和copula密度c(u) ∈ u。x的Copula熵定义如下：

转移熵和copula熵关系

Copula熵具有独立性，转移熵具有条件独立性。Ma介绍说二者有基本的理论相关性。转移熵可以仅用copula熵表示，如下所示：

在原因X和结果Y之间。
本文根据等式通过copula熵计算平均转移熵。从源数据集的每个变量到目标数据集的目标变量。选择具有最大转移熵的源数据集作为源域。

ADA-FTSF框架

深层预测模型

时间序列预测的任务是将预测对象的历史数据按时间顺序排列，然后分析其随时间的变化趋势，建立定量预测模型进行外推。建模的时间序列取决于生成数据点，相同大小的数据点改变顺序后，模型生成的结果不同。为了不违反这一规定，在文中的框架中，我们采用了具有时间序列建模特性的深度学习模型，包括LSTM、GRU和TCN。下面介绍一下TCN模型。

TCN

TCN本质上是一个神经网络，它在一维空间中进行全维卷积来处理时序问题，并可以捕捉长期的时间关系。TCN包含三种基本结构：因果卷积模块、扩张卷积模块和剩余连接模块。扩张卷积用于增加卷积核的感受野，弥补局部卷积的缺陷，使模型能够在更长的时间内学习信息。因果卷积是指前一层在时间t的值仅取决于下一层在时间t之前的值，这意味着没有未来的信息泄漏。在这种架构中，零填充用于序列完成，使得任意长度的序列可以被输入并映射到相同长度的输出序列。其公式可描述如下：

其中F(s)是最终输出结果，k表示卷积核大小，d表示膨胀系数，f(i)表示卷积核的第i个元素。

构造混合损失函数

领域自适应的应用有两个领域。一个包含了大量的标签信息，称为源域。另一个有很少或没有标签，但包含我们想要预测的样本，称为目标域。可以联合利用两个域的知识来完成目标任务。领域自适应理论的核心思想是如何将目标域上的泛化误差与源域上的泛化误差联系起来。然后通过减小源域上的误差，间接地减小目标域上的误差。

在预训练阶段设计了混合损失函数用于源和目标分布之间的对齐，其表示如下：

学习不变特征的假设是，在一个训练好的领域分类器上，不同领域的特征是不可区分的。为了实现该目标，利用表示梯度反转层（GRL）的负号 。GRL前后网络的训练目标相反，以达到对抗训练的效果。对抗训练有助于特征提取层产生更具有鲁棒性的特征，即这些特征不容易区分，同时还帮助预测层预测目标域。从本质上讲，域间距离的准确性描述了两个数据域的边缘分布的差异，然后，特征生成器的目标是试图欺骗域间距离，从而减少边缘分布的差异。

此外，最大平均差异（MMD）是基于分布的域自适应中最常用的特征距离度量，它试图探索两个给定样本是否属于同一分布，并将两个样本分布之间的距离定义为均值嵌入特征之间的距离。

DTW是一种利用动态规划法在时间轴上局部缩放，使两个序列的形态尽可能一致，从而建立了不同时间序列之间的相似性度量准则。本文引入了一种可微DTW，称为soft-DTW，使预测结果更好地符合实际情况的形状。soft-DTW依赖于控制结果度量平滑的超参数c。
在迁移学习过程中，我们期望在预训练期间源域上的训练集的预测误差较小，但形状可以更接近目标域上训练集真值的实际形状。L4减少了对神经网络进行微调的难度。

文中采用AdamW算法来解决方程组中的优化问题。梯度的详细计算如下:

L4计算每个相同长度子系列之间的形状损失：

最终梯度表示如下：

整个ADA-FTSF框架流程如下：