A Survey on Time-Series Pre-Trained Models

本文是LLM系列的文章，针对《A Survey on Time-Series Pre-Trained Models》的翻译。

摘要

时间序列挖掘在实际应用中显示出巨大的潜力，是一个重要的研究领域。基于大量标记数据的深度学习模型已成功用于TSM。然而，由于数据注释成本的原因，构建大规模标记良好的数据集是困难的。近年来，预训练模型由于其在计算机视觉和自然语言处理方面的卓越表现，逐渐引起了时间序列领域的关注。在这项综述中，我们对时间序列预训练模型（TS-PTM）进行了全面的回顾，旨在指导对TS-PTM的理解、应用和研究。具体来说，我们首先简要介绍TSM中使用的典型深度学习模型。然后，我们根据预训练技术对TS-PTM进行了概述。我们探索的主要类别包括有监督的、无监督的和自我监督的TS-PTM。此外，还进行了大量的实验来分析迁移学习策略、基于Transformer的模型和具有代表性的TS-PTM的优缺点。最后，我们指出了TS-PTM未来工作的一些潜在方向。源代码位于https://github.com/qianlima-lab/time-series-ptms.

1 引言

作为数据挖掘领域的一个重要研究方向，时间序列挖掘（TSM）已被广泛应用于现实世界中的应用，如金融、语音分析、动作识别和交通流预测。TSM的基本问题是如何表示时间序列数据。然后，可以基于给定的表示来执行各种挖掘任务。由于严重依赖领域或专家知识，传统的时间序列表示（例如，shapelets）非常耗时。因此，自动学习适当的时间序列表示仍然具有挑战性。
近年来，