清华大学 Timer：生成式预训练Transformers即大型时间序列模型

AI大模型优化师

已于 2024-10-29 09:58:18 修改

阅读量1.3k

点赞数 31

文章标签：人工智能 ai agi 语言模型时间序列 transformer LLM

于 2024-10-22 10:42:11 首次发布

本文链接：https://blog.csdn.net/2401_85325557/article/details/143142247

版权

本文探讨了深度学习在时间序列分析中的应用，特别是针对数据稀缺场景下的大型时间序列模型（LTSM）的开发。文章提出了一个名为Timer的生成预训练变换器模型，该模型通过大规模数据集的预训练，展现出在多种下游任务中的卓越性能。文章指出，尽管深度模型在时间序列分析中取得了显著进展，但在现实世界中数据稀缺的情况下，性能可能会遇到瓶颈。为了改变这种状况，作者提出了Timer，这是一个大规模预训练的时间序列变换器模型，通过统一的时间序列数据集进行预训练，并在多种下游任务中展现出良好的泛化能力。

1. 引言
时间序列分析涵盖了多种关键任务，如预测、填补缺失值和异常检测等。尽管深度时间序列模型取得了显著进展，但在数据稀缺的情况下，其准确性可能会急剧下降。与此同时，大型语言模型通过大规模文本语料库的训练，展现出了显著的少样本和零样本能力。文章提出，通过生成预训练的大型时间序列模型（LTSM），可以在多种数据稀缺场景中进行迁移。

2. 相关工作
作者详细探讨了时间序列数据的无监督预训练方法，涵盖了自然语言、图像和视频序列等多个领域的研究进展。文中提到，尽管在这些领域中已经取得了显著的成果，时间序列数据的生成预训练却相对较少被研究。作者特别指出，尽管时间序列领域的研究者们已经通过掩码建模和对比学习取得了一些进展，但生成预训练的方法，如在大型语言模型中所见，尚未在时间序列分析中得到充分探索。

作者还讨论了大型时间序列模型（LTSM）的当前研究状态，包括基于大型语言模型的时间序列模型和专门针对大规模时间序列数据预训练的模型。这些模型展示了通过不同方式实现模型扩展的可能性，有的通过将时间序列编码为数值令牌来利用大型语言模型，有的则直接在时间序列数据上进行预训练。

3. 方法

3.1 数据

为了预训练大型模型，作者们聚合了公开可获取的时间序列数据集，并创建了一个名为统一时间序列数据集（UTSD）的层次化数据集。UTSD包含了来自七个不同领域的数据，总计高达十亿个时间点，这些领域涵盖了时间序列分析的典型应用场景。在数据准备过程中，作者们对每个数据集进行了详尽的统计分析，包括时间步长、变量数量、文件大小、频率等基本属性，以及时间序列的周期性、平稳性和可预测性等特征。这些统计数据不仅用于评估数据集的复杂性，还用于指导模型的可扩展性预训练。此外，作者们还强调了数据筛选标准的重要性，以确保数据集的高质量，这对于后续的模型训练和性能至关重要。

3.2 训练策略

在训练策略方面，文章提出了将异构时间序列数据转换为单序列序列（S3）的格式。这种格式通过保留时间序列的变化模式，将多变量时间序列统一为具有固定上下文长度的单变量序列。在预训练阶段，作者们首先对每个变量的序列进行归一化处理，并将归一化后的序列合并到一个池中。然后，通过窗口采样方法从池中获取具有固定上下文长度的单序列序列。这些序列被视为时间序列的标准句子，用于生成预训练任务。这种方法不仅适用于广泛的单变量和不规则时间序列，而且通过增加预训练的难度，促使模型更加关注时间变化，从而提高了模型的泛化能力。

3.3 模型设计

在模型设计部分，文章详细介绍了Timer模型的结构。Timer是基于Transformer架构的解码器仅模型，采用生成预训练目标来预测下一个时间序列令牌。该模型通过自回归方式，利用因果注意力机制生成下一个令牌，从而实现预训练目标。这种设计使得Timer在处理不同序列长度的时间序列时具有灵活性，并且在多步预测任务中表现出色。文章还比较了不同的模型架构，包括MLP、CNN、RNN和Transformer，最终验证了Transformer作为LTSM骨架的可扩展性。特别是，文章探讨了编码器-解码器架构与解码器仅架构在不同数据稀缺情况下的性能差异，发现解码器仅架构在预训练后在大多数下游任务中表现更好，显示出更强的泛化能力。

4. 实验
文章通过在时间序列预测、填补和异常检测等任务上的实验，展示了Timer作为大型时间序列模型的性能。实验结果表明，Timer在数据稀缺场景下具有显著的少样本能力，并且在各种任务中都达到了最先进的性能。

4.1 时间序列预测

在时间序列预测任务中，Timer模型在不同的数据稀缺情况下进行了测试。作者采用了统一的回溯长度和预测长度，并将Timer与从头开始训练的模型以及在完整样本上训练的最先进的小型深度预测模型进行了比较。实验结果表明，预训练的Timer模型即使在只有少量训练样本的情况下也能展现出与最先进的小型深度预测模型相竞争的性能。此外，预训练的Timer模型在所有样本都可用的情况下，其预测误差也比从头开始训练的模型更低，这证明了预训练对于提高模型性能的显著好处。

4.2 填补

在填补任务中，Timer模型通过生成方式恢复被掩盖的时间序列段，并与观察到的部分进行组装。作者提出了一种基于分段的填补协议，这增加了填补任务的难度，要求模型能够恢复一系列连续的时间点。实验结果表明，Timer在各种数据稀缺情况下均优于现有的最先进模型，证明了其在处理时间序列缺失值方面的有效性。

4.3 异常检测

文章提出了一种基于预测的异常检测方法，该方法利用观察到的时间段来预测未来的时间段，并将预测的时间段作为标准与实际值进行比较。作者在UCR异常检测档案库上的250个任务中进行了实验，结果表明预训练的Timer模型能够在大多数数据集上以较小的α量化异常，显示出其在异常检测任务上的优越性能。

4.4 可扩展性

作者还探讨了Timer模型的可扩展性，通过增加模型大小和数据规模来评估其在下游预测任务中的表现。实验结果表明，随着模型大小和数据规模的增加，Timer模型在少样本情况下的性能得到了显著提升，这符合大型模型的扩展规律。

4.5 模型分析

在模型分析部分，作者比较了不同的模型骨架，包括MLP、CNN、RNN和Transformer，以验证哪种架构最适合大型时间序列模型。通过在相同的预训练规模下评估这些候选架构，结果表明Transformer架构因其出色的可扩展性而成为LTSM的合适选择。此外，文章还讨论了编码器-解码器架构与解码器仅架构的性能差异，发现解码器仅架构在预训练后在大多数下游任务中表现更好，显示出更强的泛化能力。

5. 结论和未来工作

在局限性方面，尽管Timer在多个任务中展现了卓越的性能，但它尚未涵盖时间序列分类任务，并且不支持概率预测和对多变量数据的特别适应。此外，模型的预训练数据集UTSD虽然具有层次结构，但与当前大规模预训练模型使用的十亿甚至百亿级别的数据点相比，规模仍然较小，表明了进一步扩大数据集规模的必要性。在社会影响方面，文章强调了Timer模型在现实世界时间序列分析任务中的应用潜力，尤其是在数据稀缺的情况下，能够助力社会预防风险并做出更好的决策。