TimeMOE: 使用稀疏模型实现更大更好的时间序列预测

数据派THU

于 2024-10-10 17:06:29 发布

阅读量3

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247646223&idx=2&sn=df2c94cd2d4c2403effade1ba5ab64aa&chksm=e806bd3dba491c54adcdfaa92b0a6d64a103f40584f1ae2eeeca27dd28d1337bdc555680c9aa&scene=126&sessionid=0

版权

本文约2200字，建议阅读5分钟本文介绍了9月份刚刚发布的论文TimeMOE。

传统上,预测这些趋势涉及针对每种情况的专门模型。最近的进展指向了可以处理广泛预测问题的"基础模型"。

这是9月份刚刚发布的论文TimeMOE。它是一种新型的时间序列预测基础模型,"专家混合"(Mixture of Experts, MOE)在大语言模型中已经有了很大的发展，现在它已经来到了时间序列。

想象一下有一个专家团队,每个专家都有自己的专长。TimeMOE的工作原理与此类似。它不是为每个预测使用整个模型,而是只激活最适合特定任务的一小部分"专家"。这使得TimeMOE可以扩展到数十亿个参数,同时保持效率。

TimeMOE的研究目的主要包括：

开发一种可扩展的、统一的时间序列预测基础模型架构。
通过利用稀疏混合专家(MOE)设计,在提高模型能力的同时降低计算成本。
探索时间序列领域的缩放定律,验证增加模型规模和训练数据量是否能持续改善性能。
创建一个大规模、高质量的时间序列数据集(Time-300B),用于预训练更强大的预测模型。
在零样本和微调场景下评估模型的通用预测能力。

关键概念

逐点标记化(Point-wise tokenization): TimeMOE将时间序列数据分解为单个点,确保它可以处理任何长度的序列。
混合专家Transformer(Mixture-of-Experts Transformer): 这是TimeMOE的核心。它是一种专门为时间序列数据设计的人工神经网络。TimeMOE不是为每个预测使用整个网络,而是只激活网络内的一小部分"专家",从而提高效率。
多分辨率预测(Multi-resolution forecasting): TimeMOE可以在各种时间尺度上预测未来值(如预测明天或下周的天气)。这种灵活性使其适用于更广泛的预测任务。

TimeMOE的优势

可扩展性: TimeMOE可以扩展到数十亿个参数,而不会牺牲推理效率。
效率: MOE架构允许TimeMOE仅为每个预测激活网络的一个子集,从而减少计算负载。
灵活性: TimeMOE可以处理任何长度的序列,并在各种时间尺度上预测未来值。
准确性: 考虑到模型的效率,TimeMOE在预测准确性方面始终优于现有模型。
泛化能力: TimeMOE在Time-300B数据集上的训练使其能够在未见过的数据上表现良好(零样本学习)。

通过结合这些优势，TimeMOE为广泛的时间序列预测应用提供了一个有前景的解决方案。

详细改进描述

TimeMOE的主要改进集中在以下几个方面:

稀疏混合专家(MOE)架构:

TimeMOE采用了一种稀疏的MOE设计,每个输入时间序列标记只激活一小部分专家网络。
这种设计显著提高了计算效率,同时保持了高模型容量。
MOE层取代了传统Transformer中的前馈网络(FFN),引入了动态路由机制。

多分辨率预测头:

TimeMOE引入了一种新颖的多分辨率预测头,能够同时在多个尺度上进行预测。
这种设计增强了模型的灵活性,使其能够生成跨越各种时间范围的预测。
通过多分辨率集成学习,提高了预测的鲁棒性。

大规模预训练:

研究者构建了Time-300B数据集,包含超过3000亿个时间点,跨越9个领域。
TimeMOE在这个大规模数据集上进行预训练,显著提升了模型的泛化能力。

灵活的输入处理:

采用逐点标记化,确保模型可以处理任意长度的输入序列。
使用旋转位置编码(RoPE),提高了模型对序列长度的适应性和外推能力。

优化的损失函数:

使用Huber损失函数,提高了模型对异常值的鲁棒性。
引入辅助平衡损失,解决MOE架构中的负载不平衡问题。

可扩展性设计:

TimeMOE首次将时间序列基础模型扩展到24亿参数,其中11亿参数被激活。
验证了时间序列领域的缩放定律,证明增加模型规模和训练数据量能持续改善性能。

TimeMOE与其他基线模型的性能对比。

性能指标介绍

研究者使用了多个指标来评估TimeMOE的性能：

平均平方误差(MSE)和平均绝对误差(MAE)：

这两个指标用于衡量预测值与实际值之间的差异。
在零样本和微调场景下,TimeMOE在这些指标上都显著优于基线模型。

计算效率:

与同等规模的密集模型相比,TimeMOE在训练成本上平均降低了78%,推理成本降低了39%。

零样本性能:

在六个基准数据集上的零样本预测任务中,TimeMOE平均减少了23%的预测误差。

微调性能:

在下游任务的微调场景中,TimeMOE平均减少了25%的预测误差。

模型规模缩放:

研究者展示了随着模型规模从5000万参数扩展到24亿参数,性能持续提升。

多分辨率预测:

TimeMOE能够在{96, 192, 336, 720}等多个预测范围内保持优秀性能。

跨领域泛化能力:

在能源、天气、交通等多个领域的数据集上,TimeMOE都展现出强大的泛化能力。

这些性能指标全面展示了TimeMOE在准确性、效率和泛化能力方面的优势,证明了它作为一个通用时间序列预测基础模型的潜力。

代码实现

以下是使用TimeMOE进行预测的基本代码示例：

import torch
 from transformers import AutoModelForCausalLM


 context_length = 12
 seqs = torch.randn(2, context_length)  # tensor shape is [batch_size, context_length]


 model = AutoModelForCausalLM.from_pretrained(
     'Maple728/TimeMoE-50M',
     device_map="cpu",  # use "cpu" for CPU inference, and "cuda" for GPU inference.
     trust_remote_code=True,
 )


 # normalize seqs
 mean, std = seqs.mean(dim=-1, keepdim=True), seqs.std(dim=-1, keepdim=True)
 normed_seqs = (seqs - mean) / std


 # forecast
 prediction_length = 6
 output = model.generate(normed_seqs, max_new_tokens=prediction_length)  # shape is [batch_size, 12 + 6]
 normed_predictions = output[:, -prediction_length:]  # shape is [batch_size, 6]


 # inverse normalize
 predictions = normed_predictions * std + mean

这段代码展示了如何加载预训练的TimeMOE模型,对输入序列进行标准化,生成预测,然后将预测结果反标准化。