【NIPS 2021】时序精选论文05|Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型(代码解读附源码)
突破将序列分解作为预处理的传统方法,提出深度分解架构(Decomposition Architecture),能够从复杂时间模式中分解出可预测性更强的组分。基于随机过程理论,提出自相关机制(Auto-Correlation Mechanism),代替点向连接的注意力机制,实现序列级(series-wise)连接并减小复杂度(可见问题1),打破信息利用瓶颈。代码中,实现a的方式是将原始序列分解为季节性变量与趋势性变量,然后注意力机制主要是对季节性变量进行计算;趋势性是在解码器时,与解码器每次计算完注意力后
复制链接