【ICLR 2022】时序精选论文08｜Pyraformer: 基于金字塔注意力机制与多尺度辨识卷积的时间序列预测模型（代码解读附源码）

ICLR 2022

PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL AT-TENTION FOR LONG-RANGE TIME SERIES MODELINGAND FORECASTING

Pyraformer 要解决的问题

基于时间序列数据面临的挑战：建立一个灵活但简约的模型，能够捕获不同范围的时间依赖性。时间序列通常表现为短期和长期的重复模式，将他们考虑在内是准确预测的关键。即能够获得一个同时可以长期和短期预测的模型。

处理长距离依赖性，其特征在于时间序列中任何两个位置之间的最长信号遍历路径的长度。路径越短，捕获的依赖性越好。此外，为了允许模型学习长期模式，模型的历史输入应该很长。因此低时间和空间复杂度是首要任务。

而目前的算法无法同时实现这两个目标。CNN和RNN的时间复杂度为 O(L) ，而信号遍历路径的最大长度为 O(L) ，Transformer的信号遍历路径为 O(1) ，而时间复杂度为 O(L^2) ，它无法处理很长的序列。Transformer的变体也很少有能够实现小于 O(L) 的最大路径长度，同时大大降低时间和空间复杂度。

Pyraformer 解决的方式