A contrastive learning based universal representation for time series forecasting

 ABSTRACT

   时间序列预测在我们的日常生活中有着广泛的应用，例如气象预警和决策。然而，由于缺乏实时序列中可用的带注释的训练数据，传统的监督模型在预测任务上表现不佳。最近，研究人员提出了自监督方法，特别是对比学习方法，它可以通过数据增强和对比损失为下游任务构建通用表示框架。虽然它缓解了标记数据的短缺，但直接从计算机视觉转移的数据增强方法并不适合时域，因为噪声向量和不相关变量可能会干扰表示的准确性。在本文中，我们提出了一种基于解开的季节性趋势表示的新型时间序列预测模型，名为 ACST。它采用改进的循环生成对抗性数据增强方法来生成接近真实数据的样本以实现对比损失。此外，我们应用门控残差网络和噪声分解模块来减少不同噪声向量和特征变量权重对结果的影响。大量实验表明，ACST 在六个基准测试中平均提高了 26.8%。

1. Introduction

  时间序列预测在各种应用中发挥着重要作用，例如住宅能源消耗[1,2]、异常检测[3]、洪水和干旱预警[4]等。尽管现有的监督方法，例如Informer [5]、Pyraformer [6]、Triformer [7]等[8-13]在时间序列预测任务上取得了显着的性能，但受到大量高质量标注数据的限制。最近，自监督学习范式被提出来缓解可用注释训练数据的缺乏和时域手动注释数据的高成本[14]。对比学习作为自监督学习的一个主要分支，在时间序列预测中得到了广泛的应用[15,16]。通过使用自身定义的伪标签作为训练标签，对比学习的目标是使正对样本在嵌入空间中靠近，负对样本远离。最终，这些学习到的表示用于下游任务，例如分类[17,18]、回归[14]、异常检测[19,20]等。对对比的发展有一个直观的认识针对时间序列学习和监督模型，我们列出了过去几年的代表性方法，如表 1 所示。

然而，尽管对比学习在 TSF 任务中显示出可喜的结果，但现有模型仍然存在一些明显的局限性。

  由于对比学习主要是从计算机视觉[21,22]、自然语言处理[23,24]和其他领域[25,26]迁移过来的，因此构建对比样本的传统​​数据增强方法[27,28]可能不适合顺序。在时间序列预测中，我们不能像图像那样随意旋转、裁剪甚至翻转序列，因为这会严重损害其季节趋势特征。因此，Eldele 等人。 [29]和Yue等人。 [15]引入了弱-强增强方法，并建立了正对样本选择的上下文一致性。但由于传统数据增强思想的限制，并没有发生本质的改变，实验结果的表现仍然很差。因此，我们决定放弃常见的缩放、平移、抖动等操作，转而退一步，在保留原始数据中特征信息的同时，注重生成分布相似的样本。受益于生成模型可以生成无限接近原始数据的样本，我们选择修改循环生成对抗网络[30]的框架来获得正样本。在我们的方法中，我们使用生成器和判别器来训练对抗网络，并帮助我们增加时间序列中的数据，通过对比损失将相似样本更接近地分组以及将彼此远离的不同样本分组来使模型学习季节性趋势特征表示。此外，与对抗网络中常见的生成任务只需要保持操作前后数据的一致性不同，我们不仅需要保持数据增强前后样本的相似性，还需要保持适当的多样性。因此，我们引入一个超参数来防止鉴别器过于成功而导致生成器网络无法创建类似真实的赝品。

   此外，在多元时间序列预测任务中，并非所有变量都对模型结果产生正向影响，大多数变量与预测值的相关性很小甚至是负相关。为了提高模型中变量的可解释性，Choi 等人。 [31]根据彼此的注意力权重计算贡献系数。此外，Lim 等人。 [32]促进分析全局时间关系并导致在每个时间戳实现选择关联的输入变量。然而，在对比学习的范式中，嵌入层并没有优化变量的可解释性。受上述工作的启发，我们在提出的模型中添加了门控残差网络单元以增强变量的可解释性，这还提供了自适应深度和网络复杂性以适应广泛的数据集和场景。后来的消融研究验证了门控机制的有效性。

    在真实场景中，大多数时间序列在噪声的干扰下都是不规则的或隐藏的模式。虽然适当的噪声可以增强模型的鲁棒性和泛化能力，但无序的噪声会影响表示学习的准确性，仍然需要避免对预测值的负面影响。为了解决这个问题，Woo 等人。 [16]在时间序列的季节分解过程中采用傅里叶变换消除了部分噪声。此外，吴等人。 [33]设计了一系列分解块来分离噪声以进行渐进预测。然而模型本身仍然存在少量的噪声向量，这会导致实验结果不理想。因此，我们在我们的方法中引入了噪声分解模块来解决噪声对模型表示精度的影响。通过对原始数据的线性映射和分解特征的数值运算，我们可以更好地去除残留噪声。后来的消融研究也证明了这种方法的有效性。

   根据上述动机，我们提出了一种改进的基于对比学习的时间序列预测任务的通用表示模型。最重要的是，我们修改了循环生成对抗网络[30]的结构，获得了一种新的数据增强方法，可以在时域中生成正样本对。我们删除了身份损失函数，并在两个判别器和生成器中添加了谱归一化层，以加快模型的收敛速度。引入超参数p来调整增强样本的多样性保留。通过这种方式，我们可以获得更好的鲁棒性表示。然后，为了增加模型中变量的可解释性，并使它们适应广泛的数据集和场景，我们还参考[32]在模型中添加门控残差网络单元。最后，受参考文献[33]的启发，我们构建了一个噪声分解模块，包括线性投影层和一些数值运算，以减少解纠缠序列后噪声对趋势特征的影响。我们提出的模型在六个数据集上比其他最先进的模型实现了卓越的性能。本文的主要贡献总结如下：

  1.我们提出了一种新的数据增强方法，通过循环生成对抗网络来生成正对，并引入超参数 p 来保持正对之间的相似性。

2.我们建立了分解组件来减少噪声对解开的季节趋势表示的影响，并添加门控残差网络单元来增强模型中变量的可解释性。

3.大量实验表明，与其他最先进的模型相比，我们提出的方法在 MAE 方面平均提高了 26.8%。

本文的其余部分描述如下。第 2 节给出了我们提出的模型的相关工作。第 3 节介绍了问题的表述和背景。第 4 节介绍了我们模型的框架。除了实施消融研究之外，第 5 节旨在证明我们的方法在六个基准上的有效性。最后，我们在第 6 节中得出结论。

2. Related work

2.1.时间序列预测的对比自监督学习

      自监督学习包括生成方法和对比方法，这些方法已经能够获得普遍的表征[21]。然而，由于生成模型的一些缺点，研究人员更喜欢选择对比学习，这使得模型通过时间序列预测中的数据增强方法来学习原始数据和增强数据之间的异同。弗朗西斯基等人。 [34]将基于因果膨胀卷积的编码器与采用基于时间的负采样的新型三元组损失相结合，获得了可变长度和多元时间序列的通用表示。为了进一步最大化自回归模型上下文之间的一致性，Eldele 等人。 [29]考虑了一种根据时间上下文对比和时间序列表示的学习框架，它利用了弱和强数据增强方法。随后，Tonekaboni 等人。 [14]构建了一个自监督框架，用于学习非平稳时间序列的可推广表示，称为时间邻域编码。更重要的是，为了使对比学习中的正样本对更适合时间序列域的特征，Yue等人。 [15]构建了一个通用框架，用于学习任意语义级别的时间序列表示。采用上下文一致性进行正样本对选择更适合于具有不同分布和尺度的时间序列数据，而不是混沌和不规则的序列，这会对未分解时间序列的表示准确性造成一定影响。因此，Woo 等人。 [16]构建了一种时间序列表示学习方法，该方法利用模型架构中的归纳偏差来学习解开的季节性趋势表示，并结合一种新颖的频域对比损失来鼓励有区别的季节性表示。虽然对比学习可以用于时间序列，但如何找到合适的数据增强方法和嵌入方法还有待研究。

 2.2.时间序列的生成对抗网络

    利用对比学习进行表征学习的关键步骤之一是如何构造正样本对，即在构造源数据的正样本时加入扰动，以增加正样本对的多样性。大量研究表明对抗网络能够模仿原始序列数据的特征，这对数据增强具有很大的启发。因此，我们将注意力集中在生成对抗网络（GAN）上，它可以通过 Goodfellow 等人提出的对抗网络生成与原始数据相似的样本。 [35]。由于GAN及其变体[36]更擅长处理现实中的无标签数据，研究人员将对抗性框架和时间序列结合起来，对下游预测和序列生成任务进行创新。莫格伦等人。 [37] 使用训练有素的循环神经网络模拟音乐数据，研究了对连续数据的顺序模型使用对抗性训练的可行性。此外，埃斯特万等人。 [38]还通过引入较小的架构差异（例如放弃对先前输出的依赖）来完成模拟音乐数据。尹等人。 [39]提出了一种 timeGAN，它按顺序捕获静态特征和时间特征以生成更准确的时间序列。

3. Preliminaries

3.1. Problem definition

   给定一组时间序列 X ={x1, ..., xT } ∈ RT ×N ，N 是每个观察到的时间步长的维度，T 是时间序列 X 的长度。对于回溯窗口 w，我们的最终目标是预测接下来的k步。意思是从 X ∈ Rw×N 到 ̃ X ∈ Rk×N 。在此之前，通过表示模型 E = g(X)，可以将 X ∈ Rw×N 投影到 E ∈ Rw×d ，其中 d 表示潜在空间维度，g(⋅) 是特征映射函数。随后，这些学习到的表示用于下游预测任务。

3.2. Seasonal feature decomposition

  季节特征反映了序列在一定时间窗口内的重复出现情况。例如，每年该地区的极端高温总是出现在夏季，市区每天早晚都会出现堵车现象。解开的季节特征在表示学习中起着重要作用。为了获得时间序列的季节特征，我们必须消除混合序列中趋势的干扰。受参考文献[16]的启发，我们决定利用离散傅里叶变换（DFT），它可以将序列（x0，...，xN−1）从时域映射到频域，并且只关注序列的周期。受益于DFT，我们能够在频域中相对容易地找到序列的季节特征，这可以用于后续的表示学习。形式上，变换两端（时域和频域）的序列长度是有限的，但实际上这两组序列应该被视为离散周期信号的主值序列。傅立叶系数 ck，幅度 |ck|和相位 φ(ck) 如下：

其中 r{ck} 和 i{ck} 分别是 ck 的实部和虚部。最后，我们还需要将DFT变换后的序列从频域再次逆到时域，我们称之为逆DFT（iDFT）。 iDFT F −1(⋅) 可以描述如下：

在参考文献[16]中，Woo 等人。将DFT映射序列从时域应用到频域。可学习的傅立叶层通过每个元素的线性层生效，并且在每个频率上使用仿射变换。然后，他们通过 iDFT 再次将表示更改回时域。最终的季节表示为E(S)，每个元素的输出公式如下：

其中 F = ⌊ w 2 ⌋ +1 是频率量，̃ E 表示通过嵌入层的向量，A ∈ CF ×d×ds 和 B ∈ CF ×ds 是每个元素线性层的参数，ds in A和B表示解缠季节特征的维度，F(⋅)和F−1(⋅)指的是DFT和iDFT。

3.3. Trend feature decomposition

    趋势特征在时间序列分析中起着重要作用，它可以暗示序列的上升、下降或稳定振荡。为了捕捉时间序列前后趋势变化之间的因果关系，我们需要一个适当的窗口来处理它。然而，窗口的大小很难确定，因为不同的系列有不同的趋势，适合模型的窗口太靠经验了。因此，我们更喜欢合适的回溯窗口，它可以在各种数据集中自适应地选择窗口大小。根据参考文献[34]和[16]，我们可以使用自回归专家的混合来按顺序捕获趋势特征。它们包含一维因果卷积，并且每层的内核大小都不同。最后，我们通过第i层平均池化操作E(T,i)得到最终的趋势特征表示E(T)。更多详情如下：

其中 i 表示当前卷积层，2i 表示第 i 层的内核大小，L = ⌊log( w 2) 2 ⌋ 表示总专家层。

4. Proposed method

我们提出的用于预测的分解时间序列中改进的对比学习的总体框架如图 1 所示。我们首先设计了一种对抗性数据增强方法，该方法采用循环生成对抗架构在对比训练期间生成正对。为了加快收敛速度​​，我们还添加了谱归一化层，使网络满足 Lipschitz 连续性条件。然后，我们构建了一个门控残差网络，其动机是处理非线性变量并调整不同特征的贡献。最后，我们构建了一个噪声分解模块，从学习到的特征中去除噪声向量，这可以帮助我们最大限度地减少噪声对预测结果的影响。算法1展示了我们提出的方法的操作过程。

图1. ACST的总体框架主要由四个块组成。我们首先添加一个门控残差网络单元将序列输入嵌入到潜在空间中。然后，我们使用趋势特征解缠器通过 L 1-d 因果卷积和平均池化层获得趋势表示。接下来，我们通过 FFT 将潜在空间中的向量从时域转换到频域。然后，我们使用逆FFT将表示变换回时间场，并得到季节表示。最后，我们采用矩阵减法和线性投影构建噪声分解模块，用于从学习的特征中去除噪声向量，这可以帮助我们最小化噪声对表示的影响。

4.1. Cycle adversarial data augmentation

   计算机视觉领域传统的数据增强方法很难应用于对比学习的正负对构建。在本文中，我们对循环生成对抗网络进行了一些改进，以实现时间序列预测中的数据增强。生成器和判别器如图2所示。

     图2.生成器和判别器的总体框架。 (a) 生成器包含 n 个块，其中每个块都拥有一个激活函数、一个线性层和一个谱归一化层。为了降低计算复杂度，我们设置n=3，并利用谱范数来满足Lipschitz连续性。 (b) 判别器在输出前添加了另一个 dropout 层并修改了激活函数，其余部分与生成器具有相同的组件。

   循环生成对抗网络由两个生成器和两个判别器组成，是一个实现不同样本之间迁移和变换的抽象框架。在本文中，我们需要找到一种有效的数据增强方法来在对比训练期间生成正对。因此，我们对循环生成对抗网络进行了一些简单但有效的改进。首先，我们删除身份丢失函数。然后，我们将光谱归一化层添加到两个分别采用判别器和生成器，以加快模型的收敛速度。最后，为了保留数据多样性，我们通过超参数p调整相似度。通过循环网络，原始时间序列数据可以生成非常相似的样本进行训练，并将学习到的表示应用于下游的预测任务。两个生成器具有相同的架构但输入不同，增强数据xaug和xre可以表示为：

其中xl指的是潜在空间中的原始时间序列向量，z是与xl形状相同的随机矩阵，SN表示使网络收敛更快的谱归一化层，LN是线性插值，LR表示LeakyReLU激活函数，i 表示当前模块迭代。在这项工作中，i将从1增长到3。同时，两个判别器y1和y2的结果可以描述为：

其中 DROP 表示 dropout 层，其余参数含义与式 (1) 中相同。 （8）和（9）。

接下来，我们需要训练循环生成对抗网络以实现数据增强，如图3所示。

图 3. 循环生成对抗网络的框架。与传统对抗网络相比，它增加了循环一致性损失以提高数据增强的质量和相似性，并消除身份损失以保持样本的多样性。 

网络中还有一个附加的循环一致性损失函数，它试图保持与原始数据相同的分布。然而，与传统的循环生成对抗网络相比，我们放弃使用身份损失函数，因为我们的目标是生成两个相似的正对，而不是相同的正对。换句话说，我们需要保留样本的多样性。在训练过程中，为了保持样本的多样性，我们去除身份损失，但保留循环一致性损失函数Lcyc，两个判别器是D1和D2，两个生成器是G1和G2，最终的损失可以视为L。更多详细信息在训练中处理表示如下：

其中‖⋅‖表示第一范式的值，γ为超参数，可以调整对Lcyc的影响。此外，为了控制正样本对之间的距离，我们可以手动设置一个超参数p来调整它们的相似度。对抗网络尝试生成与原始数据几乎相同的对，然后，我们按比例插入随机高斯分布来进行数据增强，以保持样本的多样性。准备建立对比模型的输入 ̂ x 定义如下：

其中 p 表示正对的相似度，xaug 表示循环对抗网络的增强数据，σ 是与 xaug 形状相同的高斯分布。高斯分布也称为正态分布。此外，如果随机变量 x 服从正态分布，服从数学期望 μ，方差为 σ2，我们可以将其记为 x ∼ N(μ, σ2)。期望值决定了它的位置，它的标准差决定了分布的幅度。高斯分布f(x)的密度函数如下：

其中 σ2 是方差，σ 表示标准差，μ 表示期望值。

4.2. Built gated residual unit

  为了灵活处理变量，使结果表现更好并具有较高的可解释性，我们决定在输入变量之前在嵌入层中使用非线性建模方法和模型。现有的非线性建模方法和模型[40-42]已经在各个领域的系统中取得了成功。然而，在时间序列领域，时间融合变压器[32]表明，如果在监督学习中添加门控残差单元网络来选择变量，最终结果将比以前更可解释并且表现更好。因此，为了获得优异的表示，我们创新地将门残差单元引入到对比学习的嵌入层中。受益于门控机制，它可以灵活地抑制给定数据集不需要的架构的任何部分。门残差网络（GRN）和门线性单元（GLU）的语句定义如下：

其中ELU是线性激活单元，W(⋅)和b(⋅)分别表示权重和偏差，ψ表示中间变量，σ表示激活函数，LayerNorm是标准层归一化，⊙是元素级Hadamard积，并且x 表示原始输入。我们假设A，B ∈ Cm×n，并且A = {ai,j }，B = {bi,j }。 A 和 B 的元素级 Hadamard 积定义如下：

4.3. Noise decomposition module

   尽管我们采用分解时间序列的方法来减少噪声对下游预测任务的影响，但在解开的季节趋势表示中仍然存在一些噪声。为了使表示尽可能准确，我们设计了一个简单但有效的噪声分解模块，可以去除大部分噪声，并在傅里叶变换后得到最终的季节表示 ̃ E(S) 和趋势表示 ̃ E(T )转换。通过构建一个普通的线性层，我们将门控残差网络处理后的数据̃ x 通过该层并随机丢弃它们，然后分别减去解纠缠的季节趋势表示以获得序列噪声的不完整表示。最后，我们从分解的季节和趋势特征中减去上述向量，得到去除大部分噪声后的序列表示。噪声分解模块可以描述如下：

其中 W 和 b 分别表示权重和偏差，x 表示原始输入，E(S) 是解缠结的季节表示，E(T ) 是解缠结的趋势表示。

 

 5. Experiments

  在这一部分中，我们首先在几个广泛使用的数据集上进行实验，以评估我们提出的方法的性能。此外，我们还进行了额外的消融研究来验证模型的有效性。

5.1. Datasets

我们评估了模型在六个数据集上的性能，涵盖三个实际应用：能源、经济和天气。它们都被视为时间序列预测模型的基准。详细信息描述如下：

电力变压器温度 (ETT):记录了 2016 年 7 月至 2018 年 7 月期间来自两个观测站的两台电力变压器，包括 6 个功率特征和 1 个油温特征。它由两种主要类型的频率数据集组成：每小时级别（即 ETTh1 和 ETTh2）和 15 分钟级别（即 ETTm1 和 ETTm2）。

Weather: 与气候记录相关，德国2020年全年每10分钟描述一次，包含气压、气温、湿度等21个气象指标。

Exchange: 与1990年至2016年期间澳大利亚、英国、加拿大、瑞士、中国、日本、新西兰和新加坡等八个国家的每日汇率相关联。

统计信息如表2所示。

5.2. Evaluation metrics

我们采用两种广泛使用且有效的指标来评估模型在预测任务中的性能：均方误差（MSE）和平均绝对误差（MAE）。

 其中̂yi是预测值，yi是真实值，m表示数据集总数。我们希望预测结果尽可能接近真实值，也就是说，(yi − ̂ yi) 需要接近于零。当MSE和MAE取较小的值时，模型将具有更好的性能。

5.3. Implementation details

   继之前的工作之后，我们首先将所有数据集按照 3:1:1 的比例分为训练、验证和测试，就像 CoST [16] 中的划分一样。在循环对抗训练中，我们让生成器和判别器的学习率分别为1e -3 和1e -6。我们训练了 50 个 epoch 的对抗网络，超参数 p 和 γ 都拟合为 0.99。在对比训练下，我们对所有数据集采用标准的超参数设置。我们将批量大小调整为 64，学习率设置为 6.25e -3。此外，每个数据集的迭代次数选择为 50，所有数据集的表示维数为 320。在动量编码器中，我们将队列大小和动量设置为与 MoCo [43] 中的相同。在最后的回归阶段，我们选择岭回归并平衡其适当的项α，范围从0到20，每个间隔距离为0.5。此外，为了保证回归的准确性，我们还在之前的项范围中添加了另一个空格 {30, 40, 50, 60, 70, 80, 90, 100, 200, 500, 1000, 1250, 1500, 1750, 2000} ，其他人正在关注[16]。所有实验均在 PyTorch 框架 [44] 中实现，并在单个移动 NVIDIA RTX3060 6 GB GPU 中进行。

5.4. Baselines

我们将我们提出的模型 ACST 与以下八种时间序列预测算法进行比较：

TCN [45]集成残差网络和膨胀卷积来并行处理时间序列特征。

• LogTrans [46]引入LogSparse Transformer来解决局部不可知论问题。此外，它通过卷积注意力机制解决了记忆的瓶颈。

• Reformer [47]利用局部敏感散列和可逆残差层的方法，让长序列的内存效率更高、速度更快。

• MoCo[43]设计了动量编码器来解决存储库中查询和关键编码器不一致的问题。

• Informer [5]通过提出ProbSparse注意力机制、自注意力蒸馏方法和生成解码器，对传统Transformer进行了革命性的改进。

• TNC [14]制作一个自监督框架来获得非平稳时间序列的可概括表示。

• TS2Vec [15]构建了一个通用框架来学习任意语义级别的时间序列表示。

• CoST [16]采用傅立叶变换来分解季节趋势表示，使用动量编码器来更新查询和关键编码器。

5.5. Main results

   实验记录在表 3 中。

我们可以发现，我们提出的方法在所有预测长度设置下在 ETTh2 上实现了最佳性能。但在 ETTh1 和 ETTm1 上，较少的预测范围使得指标不如以前的方法突出。我们分析原因是在实际的矩阵计算中，残差网络连接占很大比例，导致无法学习到变量之间的局部相关性。尽管与其他对比学习表示模型相比，它在两个数据集的小预测步骤上表现不佳，但进一步预测范围的结果仍然非常出色。此外，与最先进的对比学习模型相比，我们的方法在平均 MSE 和 MAE 评估指标上仍然分别领先 35.1% 和 20.8%。

  此外，我们还将 ACST 与流行且成功的监督时间序列预测模型（如 TCN [45]、LogTrans [46] 和 Informer [5]）进行比较。实验结果如表 4 所示。

ACST 在所有三个基准和所有预测范围（ETTm1 上的范围 =24 除外）中均表现优异。造成这种糟糕结果的原因与我们之前分析的类似。从表 4 中可以看出，ACST 在平均 MSE 和 MAE 上分别优于 Informer 62.2% 和 42.4%。此外，它在 MSE 方面也领先 LogTrans 方法 68.9%，在 MAE 方面领先 LogTrans 方法 52.9%，而对于 TCN，我们的方法仍然分别领先 63.4% 和 40.6%。

   此外，我们还评估了我们在天气、交换和 ETTm2 方面的方法。在接下来的实验中，我们将预测步骤调整为{96,192,336,720}以重用先前研究的指标结果。我们仍然利用流行的监督学习模型进行比较。更多细节如表5所示。

由于我们预先将数据集分为训练集、验证集和测试集，因此这些实验属于样本外结果。并且受交换数据量的限制，当horizo​​n达到720时，预测结果就毫无价值了。此外，ACST 在三个数据集上的整个预测步骤中取得了最好的结果。

  为了对ACST的多元时间序列预测效果有一个直观的认知，我们进一步选择了交换数据​​集，该数据集描述了8个国家的每日汇率，共有7588条数据。经过 50 次迭代，我们得到了四个国家的汇率预测结果，

如图 4 所示。在图 4 中，横坐标表示测试集的长度，纵坐标代表每日具体汇率值，黑色实线曲线为真实值，红色虚线曲线为预测值。从这些曲线中，我们可以看到我们提出的模型表现良好，能够更好地拟合金融领域的真实价值。

5.6. Ablation study

  为了测试和验证我们的方法中提出的组件的重要性，我们从 ACST 中删除了特定模块并进行实验。消融研究结果如表 6 所示。

从该表来看，我们的方法（包含我们提出的所有三个组成部分）实现了最佳性能。当我们删除对抗性数据增强时，MSE 和 MAE 的性能损失分别为 3.6% 和 2.3%。此外，指标证明门控残差单元网络对预测结果有积极影响，在尝试放弃门控机制后，MSE 的预测精度下降了 0.5%。此外，与对抗性数据增强同样重要的是我们提出的噪声分解模块，有助于最终结果提高 3.1% 和 2.0%。

6. Conclusion

  在本文中，我们提出了用于预测的分解时间序列表示的对抗性数据增强，以解决标记数据、噪声向量和未选择变量的稀缺问题。我们首先构建一个改进的循环生成对抗网络，用于对比学习中的数据增强。接下来，我们将门控残差单元迁移到自监督的嵌入层收益，它可以应用可解释性并处理非线性的不同变量。最后，我们引入噪声分解模块来减少噪声对表示的影响。在少数广泛使用的数据集上进行的实验证明了我们方法的有效性，并表明我们的模型比其他模型获得了更好的评估指标。在未来的工作中，我们将尝试升级数据增强方法，这可能更适合时间序列数据。除此之外，我们的目标是完善我们的噪声分解模块和嵌入网络，以提高它们的精度和精细度。