首个全开源时序预测基础模型:Zero-shot预测能力比肩从零训练最优模型

Salesforce AI research 推出了首个全开源时序预测模型 Moirai,其zero-shot预测能力可与从零训练的最优模型相媲美。Moirai 采用创新的预训练范式处理时序数据的异构性,通过预训练数据集 LOTSA 提升泛化能力,并在Monash时序预测基准上表现出色。模型、预训练代码和数据集已开源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

781164d22c4d90c7d95f5a34105edbb5.gif

©PaperWeekly 原创 · 作者 | 石宇新

单位 | 浙江大学硕士生

研究方向 | 时序预测

首个全开源时间序列预测基础模型 Moirai 来了(“Moirai” 在古希腊神话中是命运女神的名字具有预知未来的能力)!来自 Salesforce AI research 的研究者提出了一种通用的预测范式,使得预训练模型有能力处理任意的时序预测任务。与当下最优的从零训练模型相比,Moirai 的 zero-shot 预测能力具有竞争力甚至表现出更优越的性能。

并且,研究者们发布并开源了预训练框 uni2ts,moirai 模型权重,以及 LOTSA,当下最大的开源时序预测预训练数据集。

4a9f7c64a63f95a9d6c6d221a15ff9cf.png

论文题目:

Unified Training of Universal Time Series Forecasting Transformers

论文链接:

https://arxiv.org/abs/2402.02592

预训练代码链接:

https://github.com/SalesforceAIResearch/uni2ts

预训练数据集:

https://huggingface.co/datasets/Salesforce/lotsa_data

时序数据广泛存在于零售、金融、制造业、医疗等多个领域,其中时序预测应用对于决策制定有着重要的意义。尽管深度学习方法在时序预测中取得了巨大进展,但其依旧遵循传统机器学习范式:针对特定数据集的特定预测任务(预测长度)训练相对应的模型。

然而,这种模式随着时序预测任务的增多,计算成本和人力成本会显著的增加。能否像视觉和语言领域一样,构造一个预训练大模型进行通用时序预测?该研究工作给出了肯定的回答。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值