【论文精读】TimeSiam-一个用于孪生时间序列建模的预训练框架

《TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling》的作者团队来自清华大学，发表在ICML 2024会议上。

引言

时间序列数据是现实世界中的关键数据类型，广泛应用于能源、交通、经济、气象、医疗等领域。随着物联网（IoT）技术的发展，大量的时间序列数据被收集，这些数据对于理解和预测各种现象至关重要。

为了利用这些数据，时间序列的自监督预训练受到了广泛关注。预训练模型可以从无标签数据中提取有价值的知识，并提升各种下游任务的性能。然而，现有的预训练方法主要基于在视觉或语言领域内广为人知的技术，如掩码建模和对比学习，这些方法可能不适合时间序列数据的特点。

随机掩码时间序列或计算序列间相似性可能会扭曲或忽视时间序列数据中的关键时序关联。另一种范式，对比学习，它优化模型以从负样本中识别出正样本。但它们依赖于精心选择的增强方法来学习有用的不变性，由于缺乏被业界广泛认可有效的数据增强方法，限制了其在时间序列中的应用。

本文注意到时间序列与图像或语言的一个关键区别在于，每个时间步骤只包含有限数量的标量值。这意味着时间序列中最重要的信