SIGKDD 2022 | 复杂周期性时间序列预测

ACM SIGKDD国际会议（简称 KDD）是由ACM的数据挖掘及知识发现专委会主办的数据挖掘研究领域的顶级年会，是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，会议分为研究和应用科学两个方向，在知识发现、数据挖掘、人工智能等领域具有重大影响力。第28届KDD会议于2022于8月14日至18日在美国华盛顿举行。

复杂时间序列的预测问题在实际应用中十分常见，这类序列往往带有复杂的周期性，但很少有模型能够处理复杂的周期性模式，例如真实数据集中的多个周期、可变周期和相位转移。本次分享的论文将周期和相位以可学习的形式融入Transformer，以解决复杂时间序列预测问题。

Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting

Chen, W., Wang, W., Peng, B., Wen, Q., Zhou, T., & Sun, L. (2022, August).

DAMO Academy, Alibaba Group, Hangzhou, China

1. 背景和问题

时间序列预测在能源、交通、经济、气象和传染疾病等领域都有非常重要的应用。长期的预测可以为规划和预警提供指导。为了预测的准确性，需要对复杂时间依赖进行建模，包括周期性的和趋势性的依赖。此外还需要降低计算复杂度。

在微软大数据中心，60%以上的时间序列表现出周期性，尤其是面向业务的时间序列数据。复杂周期性由于多周期、变周期和相移等原因，在时间序列预测中十分复杂。

已有的基于Transformer的时间序列预测方法：

LogTrans：利用子序列级的注意力机制，利用距离的指数增加注意力稀疏度

Informer：query稀疏性（删除信息较少的queries），降尺度

Autoformer：Season-trend分解，序列级（非点级）的聚合

但是前两者不能显式地建模周期模式，最后一种方法不能处理复杂周期模式（例如可变周期或相移）。 当前仍存在问题：

1）由于时序依赖关系可能被纠缠的趋势和周期模式所掩盖，如何对时序依赖关系进行建模仍然是一个挑战。

2）传统的预测方法，如seasonal ARIMA和Prophet，也利用了具有启发式周期先验的分解，但未能自动智能地建模复杂的周期模式。

2. 方法介绍

本文提出了方法框架——Quaternion Transformer——可以处理复杂的周期模式，并且打破长时间序列预测的计算效率瓶颈，主要目标是对复杂的周期模式进行建模，以实现准确的时间序列预测。框架如下图所示，其中learning-to-rotate attention (LRA) with quaternion用于对时间序列复杂的周期依赖进行建模；trend normalization和layer normalization类似，但强调隐藏层中序列表示的缓慢变化趋势；除此之外，框架还提出了用解耦注意力机制来将LRA的二次复杂度降低到线性复杂度。

图1 模型框架

2.1 Learning-to-Rotate Attention

本方法设计了一种新的核，即rotatory softmax-kernel，通过四元数形式将给定时间序列的表示序列按频率(或周期)进行旋转，从而在测量成对相似性时融入周期和相位信息。

图2 典型的注意力结构 vs LRA

四元数和rotatory softmax-kernel需要满足如下三个特性。其一是有界性，由此保证新内积的稳定性，其二是初始值不变性，在初始位置上，新的核与原始的soft-max核一致。

其三是周期无关性和相位有关性，计算的相似性取决于相位，而不是周期。

本文找到了四元数这一形式满足这些特性的需求。 Quaternions（四元数）是一种对复数的扩展，相关的计算规则如下：

将实值向量转换为四元数形式：

利用四元数实现Rotatory Softmax核：

图3 旋转性的多维展示

图4 LRA结构的详细阐述

该内核可以直接插入点积注意力。为进一步处理多个周期、可变周期和相位偏移，本文提出以数据驱动的方式学习潜在的频率和相位，得到旋转学习注意力，保留了对注意力机制长程依赖的建模能力，并利用了时间序列的周期特性。

2.2 趋势归一化

时间序列的趋势，是一个变化缓慢的方程，在隐藏层中对这个趋势进行建模。本文提出趋势归一化，通过强制趋势分量的缓慢变化特性来更好地归一化隐藏层中的序列表示。

图5 趋势归一化

2.3 用全局memory解耦注意力机制

LRA的复杂度是，计算成本太高，为此本方法引入了momentum-updated c-length latent series

可以将注意力机制，解耦为如下形式：

的更新方式：

通过引入一个额外的固定长度的潜序列来存储全局记忆，将注意力机制解耦为两个具有线性复杂度的注意力。

3. 实验和结果

数据集

实验中用到了6个数据集

Baseline

参数设置

评估方式

实验结果

图6 实验结果对比

与所有数据集和所有设置中第二好的模型Autoformer相比，本文方法的MSE总体提高了8.1%，MSE提高了18.5%。

消融实验

论文方法优于经典的注意力机制：

图7 LRA与传统方法的对比

趋势归一化的有效性：

计算效率的提升：

图8 内存占用率和运行效率的对比

Momentum优化更新机制的有效性：

4. 结论和展望

对于复杂周期模式，LRA采用四元数表征引入了周期和相位信息；对于趋势的表征，Quatform采用了多项式近似的趋势归一化；对于长序列，Quatform采用全局共享的memory实现注意力解耦。

图9 Quatform的创新性总结

三个方面的优化提升让本文提出的方法Quatform不仅可以捕捉时间序列中的复杂周期模式（多周期，可变周期，相移），还对其中的趋势缓慢变化特性进行了建模，并且改善了方法的计算效率。

自 Transformer 大火以来，出现了各种对 Transformer 模型的改进，一般称之为X-former，这些模型大都集中于改进 Transformer 的时间复杂度和空间复杂度，大部分都是对 self-attention 部分进行改进。今天分享的论文延续了这一思路，将周期模式融入，增强了模型对复杂周期的适用性。

更多内容，敬请关注同名微信公众号：时空大数据兴趣小组。