Informer:Are Transformers Effective for Time Series Forecasting?论文阅读心得

概括

《Are Transformers Effective for Time Series Forecasting?》是由 Sasha H. Zohren, Markus L. L. Luebke, Yan LiuDengyong Zhou 等人于 2021 年发表的论文,主要讨论了 Transformer 模型是否适用于时间序列预测问题。论文中系统地评估了 Transformer 在时间序列任务中的表现,并与传统的时间序列预测方法进行了对比。

主要流程:

分解季节性和趋势成分分解季节性和趋势成分,使用series_decomp方法

如果 individual=True,则每个通道都会有一个独立的季节性和趋势性线性层(通过 self.Linear_Seasonal[i] 和 self.Linear_Trend[i])。seasonal_output 和 trend_output 的形状是 [Batch, Channels, Pred_len],其中 Pred_len 是预测的时间步长。在循环中,针对每个通道 (i),分别应用对应的线性层,生成季节性和趋势性输出。

如果individual=False,则季节性和趋势性部分共享相同的线性层(即 self.Linear_Seasonal 和 self.Linear_Trend 分别作用于所有通道)。seasonal_output 和 trend_output 的形状是 [Batch, Channels, Pred_len]。

合并季节性和趋势性成分

返回最终结果并调整维度顺序

主要内容:

nn.ModuleList():

这里使用 ModuleList() 是为了确保每个通道(channel)都有一个独立的线性层。ModuleList() 是 PyTorch 提供的一个容器,能够管理多个子模块(例如线性层),并确保它们正确地注册到模型中。

对于每个通道:

  • nn.Linear(self.seq_len, self.pred_len): 为每个通道
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting是一篇2021年发表在AAAI会议上的论文,它提出了一种名为Informer方法,用于解决长时间序列预测的问题。\[2\]这篇论文的目标是在长时间序列预测中提高预测能力并提高效率。传统的Transformer方法在长时间序列预测上存在一些局限性,而Informer通过引入一些新的机制来克服这些局限性。\[3\]具体来说,Informer采用了一种多层次的注意力机制,以便更好地捕捉长时间序列中的依赖关系,并引入了一种自适应长度的编码器和解码器,以提高对长序列的建模能力。通过这些改进,Informer在长时间序列预测任务上取得了更好的效果。 #### 引用[.reference_title] - *1* *3* [Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting](https://blog.csdn.net/lwera/article/details/127389652)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Informer:超越Transformer的长时间序列预测模型](https://blog.csdn.net/zuiyishihefang/article/details/123437169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值