时间序列+预训练大模型

1 介绍

本文介绍Chronos一个用于时间序列的语言建模框架，它挑战了时间序列特定特征或架构对于预测的必要性。Chronos与任何语言模型架构兼容，只需要进行微小的修改。预训练模型在领域性能方面明显优于现有的局部模型和特定任务深度学习基准，在未见过的数据集上获得了出色的结果，表现出通过微调有望取得进一步改进的迹象。这表明现有的语言模型架构在没有时间序列特定定制的情况下也能够进行预测，简化了预测管道，提供了只进行推理的选项。

图1 Chronos的高层次描述

2 背景

时间序列预测可以使用经典预测方法和深度学习方法。经典预测方法如ETS、ARIMA等为每个时间序列独立地拟合模型，而深度学习方法在给定的数据集中学习时间序列。**大型语言模型（LLM）**在自然语言处理任务中表现出色，基于transformer架构，通常在文本语料库上进行训练。基于预训练LLM的预测模型包括将数值时间序列数据视为原始文本，利用预训练的LLM进行微调，或将数值数据编码为数字字符串，在预训练的LLM上进行零样本设置来获取预报。**零样本学习。**Chronos模型是一种概率性的时间序列预测方法，它使用分类模型对观测值进行分类分布建模，执行回归分类。该模型不需要针对时间序列进行特定设计或特征，而是将时间序列值标记化到固定词汇表上，并在这些标记上训练现有的语言模型架构。**其他时间序列任务。**最近的研究已经研究了适用于时间序列任务的一般性模型，包括填补、预测、分类和异常检测。这些模型基于CNN的Inception模型和掩码预训练框架，将一维时间序列转换为二维图像表示，并基于周期性对时间序列进行分段和堆叠。这些模型在未见过的时间序列数据上表现出色，可以应用于预测之外的任务，如分类和异常检测。

3 Chronos：用于时间序列的语言建模框架

Chronos是一个用于时间序列预测的语言建模框架，通过调整现有语言模型架构和训练过程实现。由于自然语言和时间序列在表示方面的差异，需要对现有语言建模框架进行特定修改，特别是与分词有关的修改，以便适用于时间序列数据。时间序列数据应用于语言模型的方法包括缩放和量化，将时间序列转换为离散令牌，并使用编码器-解码器T5模型和GPT-2模型进行实验。Chronos模型通过最小化真实标签和预测标签之间的分类交叉熵来训练，使用Vts中元素的分类分布作为输出分布，具有两个关键优势：不需要修改语言模型架构或训练目标，以及允许模型学习任意分布，包括多模态分布。时序模型通过自回归采样从预测分布中获得未来多个实现，并将预测的令牌映射到实际值，再通过反标化变换进行反标化。

4 数据增强

TSMix是一种数据增强方案，用于缓解深度学习模型中的过度拟合和过拟合问题。它从训练数据集中随机采样k个特定长度的时间序列，对其进行缩放，并取其凸组合。组合权重从对称的Dirichlet分布中采样。TSMix通过混合来自不同时间序列的模式来增强数据的多样性。KernelSynth是一种用于生成合成时间序列的方法，它利用高斯过程生成合成时间序列，以增加模式多样性并弥补实际数据有限的情况下的不足。该方法通过随机组合高斯过程的核函数来生成新时间序列，并从GP先验中抽取样本生成合成时间序列。

图2 k={1,2,3}时的TSmix增强示例。

图3 （a）KernelSynth的示意图。（b）KernelSynth生成的合成时间序列示例

5 实验

本节介绍了使用Chronos模型进行时间序列预测的实验结果，包括数据集、训练策略、基准和评估指标的概述，以及模型在领域内和零样本设置下的性能评估、设计选择对性能的影响、定性性能分析和局限性等关键发现。实验结果表明Chronos模型在内部域数据集和零样本数据集上表现出色，超过了经典统计基线和特定任务的深度学习模型。模型在概率预报方面表现良好，优于许多特定任务模型。未来将致力于优化分词方法，以进一步提高模型的性能和可靠性。

表1 我们实验所使用的数据集和基线的概要

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

图4 在基准I上的不同模型性能，包括15个数据集，这些数据集也包含在Chronos模型的训练数据中

图5 在基准II上的不同模型性能，包含在训练过程中没有看到Chronos模型的27个数据集。

图6 在来自基准II的各个数据集上进行微调时，Chronos-T5（小型）相对于零样本性能显著提升，并且平均而言成为表现最佳的模型（见图5）。

图7 模型大小。（a）不同大小的Chronos模型训练损失曲线。（b）Chronos模型随模型大小变化的域内和零样本性能。

图8 不同模型大小下，使用语言模型权重初始化（标记为星号）的模型和三个随机初始化的模型（标记为圆圈）的域内和零样本性能的比较。

图9 初始化。不同大小的随机初始化的Chronos模型与使用语言模型权重的初始化的Chronos模型之间的训练损失的比较。

图10 (a)使用TSMix增强训练的Chronos-T5（Small）模型在域内和零样本性能之间的比较，以及没有TSMix增强的模型。(b)Chronos-T5（Small）模型在训练语料库中KernelSynth数据不同比例下的域内和零样本性能。

图11 Chronos-T5（小型）模型在训练步数、训练上下文长度和词汇量上的内域和零样本性能随时间的变化情况。

图12 Chronos-T5（基础版）对合成模式生成的预测。(a) 噪声。(b) 趋势。© 季节性。(d) 组合模式。

图13 当上下文不够长时，Chronos-T5（基础版）往往会低估趋势，如经典航空旅客数据（月度）和24个月预测时间跨度下的例子所示

图14 Chronos-T5（基础版）针对AR(1)和AR(4)过程生成的时序的预测结果

图15 来自Chronos模型对NN5（每日）、交通和医院数据集的序列的预测分布分布图。

图16 由于缩放和量化导致的精度损失

6 讨论

Chronos是时间序列预测的实用预训练模型，在综合测试数据集上表现出显著的零样本性能。通过微调，可以提高内域和零步结果，同时考虑其他信息，如协变量，可以训练针对任务的适配器，将协变量注入预训练的预测模型中。Chronos模型可以部署在不同历史长度、频率、预测时间和上下文长度的数据集上，简化了预测管道。为了提高推理速度，可以采用各种技术，如针对现代Ampere GPU优化的CUDA内核、量化、更快解码技术等。大规模时序数据集上的大型模型训练可以获得出色的领域内和零样本性能，但高质量的公开时序数据有限。解决数据有限问题的另一方向是开发更好的合成时序生成方法。

图17 不同模型对单个时间序列预测的推理时间，对每个数据集进行了平均，同时突出了模型所需的计算要求。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓