对比学习论文解读|TS-TCC：基于时间和语境对比的时间序列表征学习

论文题目：Time-Series Representation Learning via Temporal and Contextual Contrasting

论文地址：https://www.ijcai.org/proceedings/2021/0324.pdf

代码地址：GitHub - emadeldeen24/TS-TCC: [IJCAI-21] "Time-Series Representation Learning via Temporal and Contextual Contrasting"

摘要

从具有时间动态的未标记时间序列数据中学习合适的表示是一项非常具有挑战性的任务。在本文中，我们提出了一个通过时间和上下文对比(TS-TCC)的无监督时间序列表示学习框架，从未标记的数据中学习时间序列表示。首先，使用弱增强和强增强将原始时间序列数据转换为两个不同但相关的视图。其次，我们提出了一个新的时间对比模块，通过设计一个严格的跨视图预测任务来学习鲁棒的时间表征。最后，为了进一步学习判别表征，我们提出了一个基于时间对比模块的语境对比模块。它试图最大化相同样本的不同上下文之间的相似性，同时最小化不同样本的上下文之间的相似性。在三个真实的时间序列数据集上进行了实验。结果表明，在我们提出的TS-TCC学习的特征之上训练线性分类器的性能与监督训练相当。

此外，我们提出的TS-TCC在少标记数据和迁移学习场景下表现出很高的效率。该代码可在https://github.com/emadeldeen24/TS-TCC上公开获得。

创新点

1. 在对比学习框架中为时间序列数据设计了简单而有效的增强。

2. 提出了一个新的时间对比模块，通过设计一个严格的交叉视图预测任务，从时间序列数据中学习鲁棒表示。此外，我们提出了一个上下文对比模块，在鲁棒表示的基础上进一步学习判别表示。

3. 使用三个数据集对我们提出的TSTCC框架进行了广泛的实验。实验结果表明，在监督学习、半监督学习和迁移学习设置下，学习表征对下游任务是有效的。

相关工作

自监督学习

• MoCo [He et al .， 2020]利用动量编码器学习从记忆库中获得的负对的表示。

• SimCLR [Chen et al .， 2020]通过使用更大量的负对来替代动量编码器。

• BYOL [Grill等人，2020]即使不使用负样本，也可以通过自举表征来学习表征。

• SimSiam [Chen and He, 2020]支持忽略负样本的想法，仅依靠Siamese网络和停止梯度操作来实现最先进的性能。

虽然所有这些方法都成功地改进了视觉数据的表示学习，但它们可能不适用于具有不同属性(如时间依赖性)的时间序列数据。

对于时间序列中的自监督学习，现有的方法要么使用时态特征，要么使用全局特征。

不同的是，我们首先通过设计特定于时间序列的增强来为输入数据构建不同的视图。此外，我们提出了一种新的跨视图时间和上下文对比模块，以改进对时间序列数据的学习表示。

模型框架

1. 首先基于强增强和弱增强生成输入数据的两个不同但相关的视图。

2. 然后，提出了时间对比模块，利用自回归模型探索数据的时