必看！时序大模型的发展、玩家与效果对比

和老莫一起学AI

已于 2024-08-23 10:19:37 修改

阅读量1.5k

点赞数 6

文章标签：学习语言模型人工智能大模型自然语言处理 ai

于 2024-08-19 18:03:21 首次发布

本文链接：https://blog.csdn.net/2401_85373691/article/details/141331637

版权

一文读懂前沿技术：时序大模型的演进与未来！

历经 2023 年的“千模大战”后，大模型的风也在今年刮到了时间序列领域。

从最初的时序数据分析应用到如今的时序大模型，时序数据分析迎来哪些发展历程，国内外有哪些时序大模型玩家，各个时序大模型应用效果又如何？

本文将一一解答……

演进历程

时序大模型无疑是一个新兴领域。

2018 年以前，业内更多还是采用统计模型来分析时序数据。2018 年之后，针对时间序列的深度模型研究开始蓬勃发展，并出现了一般时间序列分析与深度预测模型两类成果：

一般时间序列分析主要基于经典统计学方法，如自回归滑动平均、趋势分析、状态空间模型以及谱分析等等。这些方法通过数学公式描述时间点之间的相互关系，分析时间序列的组成逻辑，或者建模时间序列的生成过程。

深度预测模型则通过设计神经网络结构，从海量数据中学习复杂模式和特征，进一步解决传统时序分析技术难以处理的若干挑战，比如海量数据建模、复杂时序变化、多变量关联、分析模型的泛化性等等。

然而，时间序列的多样性、非平稳等特性，对深度学习方法的模型容量和泛化能力提出了严峻挑战。同时，依赖数据驱动训练的深度学习模型，仅能应用于单一场景与任务，制约了其在丰富现实场景中的有效应用。

因此，到了 2024 年，时序分析模型领域出现了一个新的分支——时序大模型，该技术在模型通用性、下游任务适应性、可扩展性、预测准确性等方向实现进一步突破。

具体而言，目前针对时序大模型的研究主要有两个方向：

第一个方向是**大型语言模型（LLM）**的应用。这类模型在自然语言处理（NLP）任务中表现出色，现在也被转用于分析时序数据，以利用其卓越的模式识别和预测能力。

第二个方向是原生时序大模型的研发。这类模型专门针对时序数据特性量身设计，考虑了时间序列数据的连续性、周期性、时间依赖性等关键属性，能够提供更为精确、高效的分析预测。

典型成果

在时序大模型的发展历程中，众多具有全球影响力的企业扮演着不可或缺的角色，部分企业开发的时序大模型如下：

TimesFM：由 Google 开源，是一种预训练的仅解码器基础模型，优化了对上下文长度最多 512 个时间点和任何时间跨度的单变量时间序列预测。
MOIRAI：由 Salesforce 开源，通用模型设计使预训练模型有能力进行多变量时间序列预测，具备零样本预测能力。
Chronos：由 Amazon 开源，通过对时间序列数据进行标记，并使用交叉熵损失函数在这些标记化的序列上训练语言模型。
TimeGPT-1：Nixtla 研发，可以实现 API 调用。其利用历史值窗口生成预测，通过添加本地位置编码丰富输入信息，且允许用户利用自己的数据对于模型进行微调。

除了上述由国外互联网大厂主导的成果，还有来自高校及开发者研发的时序大模型，例如：

MOMENT：通过在大量公共时间序列数据上进行掩码序列预测任务，进行模型预训练。
Lag-Llama：为单变量概率预测而构建的模型，使用数据滞后期等先验知识编码时间序列数据，并提升模型泛化能力。
ForecastPFN：旨在解决零样本时间序列预测问题，通过在预定趋势和季节性生成的合成数据上进行训练，来分析未来数据趋势。

国内对时序大模型的技术研发也愈加深入，并已经自研出在泛化性、可扩展性、预测表现上等方面表现优异的时序大模型，其中的代表便是开源原生时序大模型 Timer。

Timer 模型和时序数据库 IoTDB 一样，发源于清华大学软件学院，针对时间序列领域，拥有基于大规模预训练的丰富知识库，具备可观的分析能力和对真实世界数据的理解能力。通过依靠显著的少样本能力对特定任务进行微调，Timer 模型被赋予了强大的通用能力，能够处理多样化的下游任务。

目前，Timer 模型已经内置在 IoTDB 的 AINode 中，用户能够在 IoTDB 中非常方便地进行调用。得益于 Timer 模型的优异性能，IoTDB 可以有效地为时序预测、数据填补、异常检测等工业场景提供解决方案。

Timer 模型的部分极低样本使用率下的微调结果

来源：ICML 2024 论文《Timer: Generative Pre-trained Transformers Are Large Time Series Models》

上述提到的时序大模型，其结构、模型特点、支持应用场景等重点特征如下：

性能对比

体现时序大模型性能的典型场景之一便是零样本预测任务，也就是在没有针对特定数据集进行训练的情况下，直接对时间序列进行预测。

这是因为，时序数据体量庞大、写入并发量高，完全基于历史数据训练模型是较为困难的。处理零样本预测任务将直接决定模型的泛化使用能力，需要模型具备强大的特征提取能力。

下图为在 7 个真实数据集中，多类大模型的零样本预测任务结果对比。图中的指标为 MSE（预测均方误差），该值越小，表示模型的预测值与实际观测值之间的差异越小，预测的准确性越高。

可以看到，Timer 模型在多个数据集的表现均名列前三位，在平均排名值中（模型在每个数据集上的 Top1 次数/参与比较的数据集总数），Timer 模型也取得了综合最优的水平。

值得一提的是，Timer 的性能优势不仅体现于零样本预测，还包括少样本微调、任务通用性、可扩展性、对于可变序列长度的适配性等方向。

来源：ICML 2024 论文《Timer: Generative Pre-trained Transformers Are Large Time Series Models》

总结

伴随着越来越多研究成果的集中发布，我们能够感受到时序大模型正在迅速发展，在多个领域和应用中展现出巨大的潜力。

未来，随着技术的不断进步，预计将会有更多创新的方法和实践出现，我们期待以 Timer 模型为代表的时序大模型实现性能更大幅度的提升！

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。