TimesURL: Self-Supervised Contrastive Learning for Universal Time Series Representation Learning

系列文章目录

通用时间序列表示学习的自监督对比学习 AAAI-24
Jiexi Liu1,2, Songcan Chen

---

---

摘要

学习适用于各种下游任务的通用时间序列表示具有挑战性，但在实际应用中很有价值。最近，研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而，由于特殊的时间特征，仅仅依靠其他领域的经验指导可能对时间序列无效，并且难以适应多个下游任务。为此，本文综述了SSCL中涉及的三个部分:1)设计正对增广方法，2)构造(硬)负对，3)设计SSCL损耗。对于1)和2)，我们发现不适当的正负对构建可能会引入不适当的归纳偏差，这既不能保持时间性质，也不能提供足够的判别特征。对于3)，仅仅探索段级或实例级语义信息不足以学习通用表示。为了解决上述问题，我们提出了一种新的自监督框架TimesURL。具体来说，我们首先引入基于频率时间的增强来保持时间属性不变。在此基础上，我们构建了双universum作为一种特殊的硬否定来指导更好的对比学习。此外，我们引入时间重构作为与对比学习的联合优化目标，以捕获段级和实例级信息。因此，TimesURL可以学习高质量的通用表示，并在6个不同的下游任务中实现最先进的性能，包括短期和长期预测、imputation、分类、异常检测和迁移学习。

---

提示：以下是本篇文章正文内容

一、介绍

时间序列数据在现实中无处不在，从天气、经济到交通(Wu et al. 2021;Liu et al. 2022b;Shi et al. 2015)。学习信息丰富且通用的多类型下游任务时间序列表示是一个基本但尚未解决的问题。虽然自我监督对比学习在计算机视觉(CV)、自然语言处理(NLP)以及最近其他类型的模式(Denton et al. 2017;Gutmann and Hyv¨arinen 2012;Wang and Gupta 2015;Pagliardini, Gupta, and Jaggi 2017;Chen et al. 2020)，将其应用于时间序列需要定制解决方案。这是由于时间序列数据的高维性和特殊的时间特征，以及不同任务需要不同的语义信息。

为此，我们回顾了SSCL中涉及的四个主要部分，包括1)正样本设计的增强方法，2)骨干编码器，3)(硬)负对，以及4)假意任务的SSCL损失，并试图投入努力探索在通用表示学习中更有效的时间序列特征捕获解决方案。由于骨干编码器在时间序列编码器学习中得到了广泛的研究(Liu and Chen 2019;Zhou et al. 2021;Wu et al. 2023;Liu et al. 2022a)，我们的注意力主要集中在剩下的三个组成部分。

首先，大多数增广方法在应用于时间序列数据时，可能会引入不适当的归纳偏差，因为它们直接借用了CV和NLP领域的思想。例如，翻转(Luo et al. 2023)翻转原始时间序列的符号，假设时间序列在上下方向之间具有对称性。然而，这可能会破坏原始时间序列中固有的时间变化，如趋势和峰谷。而置换(Um et al. 2017)在假设底层语义信息因不同顺序而保持不变的情况下，重新排列时间序列中的片段顺序以生成新的序列。但是，这会干扰时间依赖性，从而影响过去和未来时间戳信息之间的关系。因此，由于时间序列的有价值的语义信息主要存在于时间变化和依赖关系中，这种增强无法捕获有效的通用表示学习所需的适当特征。

然后，硬负样本选择的重要性在其他领域得到了证明(Kalantidis et al. 2020;Robinson et al. 2020)，但在时间序列文献中仍未得到充分探索。由于局部平滑性和马尔可夫性，大多数时间序列片段可以看作是简单的负样本。这些片段往往表现出与锚点的语义不相似，只贡献了很小的梯度，因此无法提供有用的判别信息(Cai et al. 2020)。虽然包含少量硬负样本(与锚点具有相似但不完全相同的语义)已被证明有助于改进和加快学习(Xu et al. 2022;Cai et al. 2020)，它们的有效性被大量容易的阴性样本所掩盖。

图1:TimesURL方法概述，如图A所示，由FTAug、DualCon和Recon三个组件组成。通过裁剪和混频将时间序列xi变换为两个增广序列$x_i$和$x_i^{\prime }$。然后，对应的表示$r_i\mathrm{and}{r}_i^{\prime },$，矩形框中用Repr标记的彩色块。，由编码器提取。在每个池中，用浅紫色矩形框显示，学习到的表示被输入到DualCon组件中，以合成时间和实例的universum，从而将它们注入对比学习中。浅蓝色矩形框表示重构数据流。子图(B)和©表示FTAug和Universum合成的具体过程。

最后但并非最不重要的是，仅使用分段器实例级的信息是不足以学习通用表示的。先前的研究一般将上述任务分为两类(Yue et al. 2022)。第一类包括预测、异常检测和imputation，它们更多地依赖于在段级别捕获的细粒度信息(Yue et al. 2022;Woo et al. 2022;Luo et al. 2023)，因为这些任务需要推断特定的时间戳或子序列。而第二类则由分类和聚类组成，它们优先考虑实例级信息，即粗粒度信息(Eldele et al. 2021, 2022;Liu and wei Liu 2022)，旨在推断整个系列的目标。因此，当面对任务不可知的预训练模型时，在预训练阶段缺乏对特定任务的先验知识或意识，片段级和实例级信息对于实现有效的通用时间序列表示学习是必不可少的。

为了解决这些挑战，在本文中，我们提出了一个新的自监督框架，称为TimesURL，以学习能够有效支持各种下游任务的通用表示。我们首先进行实例和时间对比学习，以结合时间变化和样本多样性。具体来说，为了保持时域变化和依赖关系，我们设计了一种新的基于频率时间的增强方法，称为FTAug，它是时域裁剪和频域混频的结合。此外，受矛盾学习概念的启发，我们精心设计了双universum作为硬负样本。在嵌入空间中，每次将特定的正样本(锚)与负样本混合是一种锚的特异性混合。我们设计的双universum分别在实例和时间维度上生成，作为特殊的高质量硬负样本，提高了对比学习的性能。此外，我们观察到单独的对比学习仅限于捕获一个层次的信息。因此，在我们的论文中，我们共同优化对比学习和时间重建，以在片段和实例级别捕获和利用信息。

得益于上述设计，TimesURL在广泛的下游任务中始终如一地获得最先进(SOTA)的结果，从而展示了其学习时间序列数据的通用和高质量表示的能力。本工作的贡献可以概括如下:
•我们重新审视了现有的用于时间序列表示的对比学习框架，并提出了TimesURL，这是一个新的框架，可以通过额外的时间重构模块捕获片段级和实例级信息以进行通用表示。
•我们引入了一种新的基于频率-时间的增强方法，并将新的双universum注入到对比学习中，以解决正对和负对的构造问题。
•我们通过大约15条基线的6个基准时间序列任务来评估TimesURL学习的表示性能。一致的SOTA性能证明了表征的普适性。

二、相关工作

时间序列的无监督表示学习。时间序列的表示学习已经被研究了很多年(Chung et al. 2015;Krishnan, Shalit, and Sontag 2017;拜耳等人，2020)。然而，关于无监督表示学习更具挑战性的方面的研究仍然缺乏。SPIRAL (Lei et al. 2019)通过学习一种有效保留原始时间序列数据中固有的对相似性的特征表示，弥合了时间序列数据和静态聚类算法之间的差距。TimeNet (Malhotra et al. 2017)是一个循环神经网络，它训练编码器-解码器对，以最大限度地减少其学习表征的重建误差。DTCR (Ma et al. 2019)将时间重建和K-means目标集成到seq2seq模型中，以学习特定于聚类的时间表征。ROCKET (Dempster, Petitjean, and Webb 2020)是一种计算费用小、速度快的分类方法，它使用随机卷积核对时间序列进行变换，并使用变换后的特征来训练线性分类器。因此，许多先前的研究集中在开发编码器-解码器架构，以最大限度地减少无监督时间序列表示学习的重建误差。一些(Lei et al. 2019;Ma et al. 2019)试图利用时间序列数据中存在的固有相关性，但未能充分发挥时间序列数据的潜力。

时间序列对比学习。自监督对比学习旨在从不同的增强数据视图中学习不变的表示。它是在设计的借口任务上对未注释数据的另一种表示学习方法。TS-TCC (Eldele et al. 2021)专注于设计一个具有挑战性的借口任务，用于从时间序列数据中进行鲁棒表示学习。它通过设计一个严格的跨视图预测任务来应对不同时间戳和增强引入的扰动来解决这个问题。TNC (Tonekaboni, Eytan, and Goldenberg 2021)通过一种新的基于邻域的方法讨论了带有样本权值调整的非平稳多元时间序列的正负对构造的选择。InfoTS (Luo et al. 2023)强调了选择适当增强的重要性，并设计了一种基于元学习的自动选择增强方法，以防止引入预制知识。TS2Vec(Yue et al. 2022)是一个统一的框架，可以在不同的语义层次上学习任意子系列的上下文表示。CoST(Woo et al. 2022)通过利用模型架构中的归纳偏差为借口任务设计做出了贡献。它特别关注于学习解纠缠的季节和趋势表征，并结合了一种新的频域对比损失来鼓励判别季节性表征。然而，它们容易受到不适当的先验假设，过多的容易负样本以及缺乏足够的下游任务信息的影响。这些限制来自于不适当的增强方法，缺乏硬负样本，以及忽略利用段级和实例级信息。在本文中，我们在一个统一的框架中解决了所有这些问题，用于时间序列的通用表示学习。

Proposed TimesURL Framework

在本节中，我们将详细描述新设计的框架TimesURL。我们首先提出了表征学习问题，随后深入研究了包括对比学习和时间重构在内的关键组件的实现。特别是在对比学习部分，我们强调了我们设计的增强和双Universum综合方法。

问题表述。与大多数时间序列表示学习方法类似，我们的目标是学习一个非线性嵌入函数fθ，使得时间序列集合X中的每个实例 X = { x 1 , x 2 , … , x N } \mathcal{X}=\{x_{1},x_{2},\ldots,x_{N}\} X={x1​,x2​,…,xN​}可以映射到最佳描述表示ri。每个输入时间序列实例为$x_i\in {\mathbb{R}}^{T\times F}$，其中T为时间序列长度，F为特征维数。第i个时间序列的表示为 r i = { r i , 1 , r i , 2 , … , r i , T } r_{i}=\{r_{i,1},r_{i,2},\ldots,r_{i,T}\} ri​={ri,1​,ri,2​,…,ri,T​}，其中$r_{i,t}\in {\mathbb{R}}^K$为时刻T的表示向量，K为表示向量的维数。由于我们的模型是一个两步的过程，我们然后使用学习到的表示来完成下游任务。

方法介绍。如图1所示，我们首先通过FTAug分别对原始级数X和掩码级数XM生成增广集${\mathcal{X}}^{\prime }\mathrm{and}{\mathcal{X}}_M^{\prime }$。然后得到两对原始级数集和增强级数集，第一对$(\mathcal{X},{\mathcal{X}}^{\prime })$用于对比学习，第二对$({\mathcal{X}}_M,{\mathcal{X}}_M^{\prime })$用于时间重构。之后，我们将上述集合与fθ进行映射，得到相应的表示。我们鼓励$\mathcal{R}\mathrm{and}{\mathcal{R}}^{\prime }$具有转换一致性，并设计了一种同时使用${\mathcal{R}}_M\mathrm{and}{\mathcal{R}}_M^{\prime }.$精确恢复原始数据集X的重建方法。

1)采用合适的增强方法构建正对，2)有一定数量的硬负样本用于模型泛化，3)通过对比学习和时间重建损失共同优化编码器fθ以捕获两层信息，保证了上述模型的有效性。然后，我们将在以下小节中讨论这三个部分。

FTAug Method

对比学习的一个关键组成部分是选择适当的增强，这些增强可以施加一些先验来构建可行的正样本，这样编码器就可以被训练来学习鲁棒和判别表示(Chen等人，2020;Grill等人，2020;Yue et al. 2022)。大多数增强策略都是任务依赖的(Luo et al. 2023)，可能会引入对数据分布的强假设。更严重的是，它们可能会扰乱对预测等任务至关重要的时间关系和语义一致性。因此，我们选择上下文一致性策略(Yue et al. 2022)，该策略将两个增强上下文中相同时间戳的表示视为正对。我们的FTAug结合了频率和时域的优势，通过频率混合和随机裁剪产生增强的上下文。

频率混频。混频是将快速傅里叶变换(Fast Fourier Transform, FFT)运算得到的一个训练实例xi中一定比例的频率分量替换为同一批次中另一个随机训练实例xk的相同频率分量，从而产生新的上下文视图(Chen et al. 2023)。然后我们使用逆FFT转换回来得到一个新的时域时间序列。在样本之间交换频率成分不会引入意外的噪声或人为的周期性，并且可以为保持数据的语义特征提供更可靠的增强。

随机裁剪。随机裁剪是上下文一致性策略的关键步骤。对于每个实例xi，我们随机抽取两个重叠的时间段[a1, b1]， [a2, b2]，使0 < a1≤a2≤b1≤b2≤t，对比学习和时间重构进一步优化重叠时间段[a2, b1]中的表示。最终，该方法能够保持时间序列的重要时间关系和语义一致性，对各种任务都有帮助。在这里，FTAug只应用于培训过程。

Double Universum Learning
最近的研究显示(Kalantidis et al. 2020;Robinson et al. 2020;Cai et al. 2020)，硬负样本在对比学习中起着重要作用，但从未在时间序列领域进行过探索。此外，由于时间序列的局部平滑性和马尔可夫性，大多数负样本很容易不足以捕获时间明智的信息，因为它们从根本上缺乏驱动对比学习所需的学习信号。作为图2中UEA存档(Bagnall et al. 2018)中的ERing数据集的真实示例，对于每个正锚点(红色方块)，对应的负样本(灰色标记)包含许多容易的负和很少的难的负，即许多负太远而不会导致对比损失。我们的双universum是Mixup Induced universum (Han and Chen 2023;Vapnik 2006;Chapelle et al. 2007)在实例和时间方面，这是嵌入空间中锚特定的混合，将特定的积极特征(锚)与未注释数据集的消极特征混合在一起。

图2:UEA存档中universum在ERing数据集上的属性

设i为输入时间序列样本的索引，t为时间戳。$r_{i,t}\mathrm{and}{r}_{i,t}^{\prime }$表示相同时间戳t的表示但是是xi的两个增广。时间戳为t的第i个时间序列的综合时间智能universum可以表示为

其中${\mathbf{t}}^{\prime }$是从Ω中随机选择的，即两个子序列重叠处的时间戳集，$t^{\prime }\ne t$。而以(i, t)为索引的基于实例的universum类似地被表示为

其中，j表示b批中除i之外的任何实例。其中，λ1， λ2∈(0,0.5)为锚点随机选择的混合系数，λ1， λ2≤0.5保证锚点的贡献始终小于负样本。

如图2(a)所示，大多数Universum(蓝色三角形)更接近锚点，因此可以视为硬负样本。此外，我们利用代理任务来表明硬否定的难度(Kalantidis et al. 2020)，即universum。代理任务性能如图2(b)所示，即在使用和不使用universum在ERing数据集上训练我们的TimesURL时，正面样本被评为整体负面样本的锚点百分比。尽管TimesURL的代理任务性能下降了，但是，线性分类的性能得到了进一步的提高，从0.896(没有Universum)到0.985(有Universum)，这意味着额外的Universum使代理任务更难解决，但可以进一步提高下游任务的模型性能。因此，《TimesURL》中的Univerums可以被视为高质量的底片。综上所述，我们的universum可以看作是一种高质量的硬阴性样本。

通过与锚点样本的混合，将优兴数据落入数据空间目标区域的可能性降到最低，从而保证优兴的硬负性。此外，双Universum集合包含了所有其他有利于学习判别性样本信息以提高模型能力的负样本。

Contrastive Learning for Segment-level Information

我们使用一种简单的方法将双universum分别作为时间和实例对比损失的额外硬负样本注入对比学习中。第i个时间序列在时间戳t处的两个损失可以表示为

这两种损失是相互补充的，以捕获实例特定特征和时间变化。我们使用分层对比损失(Yue et al. 2022)进行多尺度信息学习，方法是在Eq.(3)和(4)中沿时间轴对学习到的表示使用最大池化。在这里，我们必须提到，在几次最大池化操作之后，重要的时间变化信息(如趋势和季节)会丢失。因此，顶层的对比实际上不能为下游任务捕获足够的实例级信息。

Time Reconstruction for Instance-level Information
自监督学习中的掩膜自动编码技术已被证明在各个领域表现良好，例如NLP中的基于bert的预训练模型(Kenton and Toutanova 2019)以及CV中的MAE (He et al. 2022)。这些方法的主要思想是在给定部分观测值的情况下重建原始信号。

利用掩码自编码技术，设计了一个重构模块，以保留重要的时间变化信息。我们的方法使用上面提到的嵌入函数fθ作为编码器，将掩码实例映射到潜在表示，然后从潜在表示重建完整的实例。在这里，我们使用随机掩蔽策略。我们的损失函数计算在每个时间戳重构值和原始值之间的均方误差(MSE)。此外，与BERT和MAE类似，我们仅在Eq.(6)中的屏蔽时间戳上计算MSE损失。


总损失定义为

其中α是一个超参数来平衡这两个损失。

实验

在本节中，为了评估我们的TimesURL学习到的表示的通用性和下游任务的性能，我们在6个下游任务上进行了广泛的实验，包括短期和长期预测、imputation、分类、异常检测和迁移学习。最好的结果以粗体突出显示。更详细的实验设置和其他附加的实验结果将在附录中提出。

基准测试的摘要见附录。对于TimesURL，我们使用时间卷积网络(TCN)作为骨干编码器，类似于TS2Vec (Yue et al. 2022)。关于数据集和其他实验实施信息的更详细信息见附录。

在自监督学习设置之后，我们在类似的实验设置下将TimesURL与最近的高级模型进行了广泛的比较。由于大多数现有的自监督学习方法不能学习所有类型任务的通用表示，因此我们仅将每种方法用于其专门设计的任务。此外，我们还对每个特定任务的SOTA模型进行了如下比较，其中SSL, E2EL, USL是自监督，端到端和无监督学习的缩写:预测:1)SSL: CoST (Woo等人，2022)，TS2Vec (Yue等人，2022)，TNC (Tonekaboni, Eytan和Goldenberg 2021)， 2) E2EL:Informer (Zhou et al. 2021)、LogTrans (Li et al. 2019)、N-BEATS (Oreshkin et al. 2019);分类:1)SSL: InfoTS (Luo et al. 2023)， TS2Vec, TS-TCC (Eldele et al. 2021)， TST (Zerveas et al. 2021)，2) USL: DTW;导入:SSL: TS2Vec, InfoTS;异常检测:1)SSL: TS2Vec, 2) USL: SPOT(Siffer et al. 2017)， DSPOT(Siffer et al. 2017)， DONUT(Xu et al. 2018)， SR(Ren et al. 2019)总的来说，为了进行全面比较，包括了大约15个基线。

Classification

时间序列分类在医学诊断、动作识别等方面具有实际意义。我们的实验是在类标签在实例上的设置下进行的。因此，采用实例级分类来验证模型在表示学习中的能力。我们选择了常用的UEA (Bagnall et al. 2018)和UCR (Dau et al. 2019) Classification Archive。除DTW外，所有分类方法的表示维数都设置为320，然后我们遵循与TS2Vec相同的协议，TS2Vec使用带有RBF内核的SVM分类器在表示上进行分类训练。

评价结果如表1所示。在UEA的30个单变量数据集上，TimesURL的平均准确率为75.2%，在UCR的128个多变量数据集上，TimesURL的平均准确率为84.5%，超过了之前SOTA自监督方法InfoTS的71.4%。此外，最佳平均排名也验证了TimesURL的显著优势。如前所述，其他方法的失败很容易理解，因为TS2Vec缺乏足够的实例级信息，而InfoTS中的一些增强可能会引入不适当的归纳偏差，从而破坏时间属性，例如分类趋势。由于TimesURL使用一般的FTAug，包含适当的硬否定，并且可以捕获段级和实例级信息，因此可以获得更好的性能。

Imputation

在现实情况下，经常会出现不规则和异步采样，这可能会导致丢失，从而给下游任务带来困难。代入是解决这一问题的一种简单易行且应用广泛的方法。我们在电力场景下使用ETT数据集(Zhou et al. 2021)完成任务，其中数据丢失问题经常发生。为了比较不同缺失数据比例下的模型容量，我们以{12.5%，25%，37.5%，50%}的比例随机屏蔽时间点。然后，我们遵循与TimesNet相同的设置，它使用MLP网络进行下游任务。

由于TimesURL包含一个时间构建模块来捕获潜在的时间模式，我们自然地将其扩展到下游任务。如表2所示，我们提出的TimesNet在三个数据集上仍然实现了SOTA性能，并证明了从复杂的时间序列中捕获时间变化的能力。

短期和长期预测

时间序列预测在我们的日常生活中无处不在。对于短期和长期的预测，我们使用来自不同现实情景的ETT、电力和天气数据集，后两个数据集的结果见附录。短期预报的视界范围为24和48，而长期预报的视界范围为96到720。在这里，我们为每个数据集学习一次表示，并且可以直接应用于线性回归的各个层面。这有助于证明学习表征的普遍性。结果我们将TimesURL与表征学习以及3中的端到端预测方法进行了比较，表明TimesURL在大多数情况下为短期和长期预测都建立了新的SOTA。

Anomaly Detection

从监测数据中检测异常对于工业维护至关重要。我们在时间序列异常检测中遵循流评估协议(Ren et al. 2019)的设置，该协议确定时间序列切片x1中的最后一个点xt，…， xt是否异常。在训练过程中，每个时间序列样本按照时间顺序分成两半，其中前半部分用于训练，后半部分用于评估。在本任务中，我们比较了两个基准数据集上的模型，包括KPI (Ren et al. 2019)和Yahoo (Nikolay Laptev 2015)，其中包括367小时采样时间序列。KPI是一个竞争数据集，包含多个分钟采样的真实KPI曲线。结果表4显示了不同方法异常检测任务在F1得分、准确率和召回率上的表现。在正常设置中，TimesURL在KPI和Yahoo数据集上都具有一致的良好性能。

迁移学习
我们完成迁移学习任务，证明了TimesURL学习到的表示具有良好的可迁移性，在一个条件下(即源域)训练和在其他多个条件下(即目标域)测试时可以取得良好的性能。在这里，我们展示了通过在UCR存档中的CBF和cincecg躯干两个独立的源域上训练模型获得的迁移学习结果，并评估了UCR存档中前10个数据集中其他9个目标域在下游分类任务上的性能。CBF的平均结果为0.864,cincecg躯干的平均结果为0.895。转换结果显示无迁移场景下的竞争性能。更多的迁移学习结果见附录。

消融研究

我们分别强调了FTAug、Double universum和联合优化策略对学习全称表示的重要性。为了验证上述三个模块在TimesURL中的有效性，在UEA存档的30个数据集上比较完整的TimesURL及其五个变体，如表5所示，其中1)w/o频率混合，2)w/o实例Universum, 3) w/o时间Universum, 4) w/o双Universum, 5) w/o时间重建。结果表明，上述各组成部分都是不可缺少的。我们必须提到，构建时态或实例型universum都无法获得最佳性能，而双universum通过为时态和实例型对比学习提供足够的判别信息来获得更好的性能。

Conclusion

在本文中，我们提出了一种新的自监督框架，称为TimesURL，它可以为各种类型的下游任务学习通用时间序列表示。我们引入了一种新的增强方法FTAug，以保持上下文一致性和时间特征不变，适用于各种下游任务。此外，我们在对比学习中注入双universum，提高负样本的数量和质量，从而提高对比学习的效果。最后但并非最不重要的是，TimesURL联合优化了对比学习和时间重建，以捕获分段和实例级别的信息，用于通用表示学习。实验结果证明了上述策略的有效性，并表明在适当的增强方法、足够的硬负样本和适当的信息水平下，TimesURL在6个下游任务上表现出良好的性能。

---