A decoder-only foundation model for time-series forecasting

本文是LLM系列文章，针对《A decoder-only foundation model for time-series forecasting》的翻译。

摘要

受自然语言处理（NLP）大型语言模型最新进展的启发，我们设计了一个用于预测的时间序列基础模型，该模型在各种公共数据集上的开箱即用零镜头性能接近于每个单独数据集的最先进监督预测模型的准确性。我们的模型基于在大型时间序列语料库上预训练补丁解码器风格的注意力模型，可以在不同的预测历史长度、预测长度和时间粒度上很好地工作。

1 引言

2 相关工作

3 问题定义

4 模型结构

5 实验结果

6 讨论和未来工作

我们使用大约1B个时间点的大型预训练语料库来训练用于时间序列预测的仅解码器基础模型，其中大部分是从谷歌趋势中导出的搜索兴趣时间序列。我们表明，即使是使用我们的PreDcT架构的相对较小的225M参数预训练模型，在不同领域和粒度的各种公共基准上也显示出令人印象深刻的零样本性能。PreDcT（ZS）模型可以与最近在目标数据集上专门训练的最先进的监督基线的性能相媲美。这是显著的，因为PreDcT（ZS）模型在推理之前没有看到目标数据集。
在未来的工作中，在预训练数据和模型中的参数数量中突破规模边界将是一件有趣的事情。按照[HBM+22]的思路对时间序列基础模型进行缩放研究将