Neurlps2024论文解析|TimeXer Empowering Transformers for Time Series Forecasting with Exogenous Variables

论文标题

TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables 利用外生变量赋能时间序列预测的Transformer

论文链接

TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables论文下载

论文作者

Yuxuan Wang, Haixu Wu, Jiaxiang Dong, Guo Qin, Haoran Zhang, Yong Liu, Yunzhong Qiu, Jianmin Wang, Mingsheng Long

内容简介

本文提出了一种新颖的方法TimeXer,旨在通过引入外生变量来增强内生变量的时间序列预测。传统的时间序列预测方法往往忽视外生变量的影响,而TimeXer通过巧妙设计的嵌入层,结合了内生和外生信息,利用分块自注意力和变体交叉注意力机制,提升了预测的准确性。实验结果表明,TimeXer在十二个真实世界的预测基准上表现出色,展现了显著的通用性和可扩展性。该方法不仅适用于短期预测,还能有效处理多元时间序列预测中的外生变量。
在这里插入图片描述

分点关键点

  1. TimeXer框架
    • TimeXer通过引入外生变量&#x
背景描述 2016 年全球生态足迹 您所在国家消耗的资源是否超过一年产生的资源? 数据说明 上下文 生态足迹衡量的是特定人口生产其消耗的自然资源(包括植物性食品和纤维产品、牲畜和鱼产品、木材和其他林产品、城市基础设施的空间)和吸收其废物(尤其是碳排放)所需的生态资产。该足迹跟踪了六类生产性表面积的使用情况:农田、牧场、渔场、建成区(或城市)土地、森林面积和土地上的碳需求。 一个国家的生物承载力代表其生态资产的生产力,包括农田、牧场、林地、渔场和建筑用地。这些区域,尤其是如果不采伐,也可以吸收我们产生的大部分废物,尤其是我们的碳排放。 生态足迹和生物承载力都以全球公顷表示,即具有全球可比性的标准化公顷数与世界平均生产力。 如果一个种群的生态足迹超过该地区的生物承载力,则该区域就会出现生态赤字。它对其陆地和海洋所能提供的商品和服务的需求——水果和蔬菜、肉类、鱼类、木材、服装用棉花和二氧化碳吸收——超过了该地区生态系统可以更新的需求。生态赤字地区通过进口、变现自己的生态资产(如过度捕捞)和/或向大气中排放二氧化碳来满足需求。如果一个地区的生物承载力超过其生态足迹,它就拥有生态保护区。 确认 生态足迹测量是由不列颠哥伦比亚大学的 Mathis Wackernagel 和 William Rees 构思的。生态足迹数据由 Global Footprint Network 提供。 灵感 您的国家是否存在生态赤字,消耗的资源超过了每年的产量?哪些国家的生态赤字或保护区最大?他们的消费量是比普通国家少还是多?2017 年地球超载日,即日历上人类使用一年自然资源的日子,何时发生?
03-08
### TimeXer简介 TimeXer是一种基于Transformer架构设计的时间序列预测工具,特别适用于包含外部变量时间序列预测任务。该模型在保持经典Transformer结构不变的基础上,引入了特定于时间序列的改进措施[^1]。 #### 特征概述 - **双路径嵌入机制**:为了有效区分并处理内部(内生)和外部(外生)因素的影响,TimeXer实现了两种不同类型的嵌入——即`Endogenous Embedding`用于表示内在特征;`Exogenous Embedding`则负责编码外界条件的变化情况。 - **多级注意力网络**:通过集成自注意力层(`Self-Attention`)以及跨模态交互层(`Cross-Attention`),能够同时捕捉到沿时间轴发展的模式关联性及时变要素间的相互作用规律。 ```python import timexer as txr # 初始化配置参数字典 config = { 'input_size': 784, # 输入向量长度 'output_size': 10, # 输出类别数 'hidden_dim': 512, # 隐藏单元数量 } model = txr.TimeXerModel(config) # 加载预训练权重 (如果有的话) if pretrained_weights_path is not None: model.load_state_dict(torch.load(pretrained_weights_path)) ``` 此段代码展示了如何创建一个简单的TimeXer实例,并加载可能存在的预训练权重文件。需要注意的是,在实际应用中还需要根据具体场景调整输入尺寸和其他超参设置。 ### 使用指南 对于想要利用TimeXer来进行更深入研究或者项目开发的研究人员来说: - 应当熟悉Python编程环境及其常用的数据科学库; - 掌握基本的时间序列理论基础,了解ARIMA等传统方法的工作原理有助于更好地理解新旧技术之间的联系与区别; - 学习掌握PyTorch或其他支持动态计算图构建的深度学习框架将是必不可少的前提之一。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值