A New Attention Mechanism to Classify Multivariate Time Series论文解读

论文地址
代码

摘要

本文发表在IJCAI-2020，针对多元时间序列分类问题，提出了一种新颖的Cross Attention Stabilized Fully Convolutional Neural Network (CA-SFCN)算法，设计了稳定的全卷积神经网络，并结合交叉注意力机制（Cross Attention）在多个数据集上得到了SOTA结果。

问题描述

多元时间序列（Multivariate Time Series）记录了在一段时间内多个变量连续变化的值，如股票预测、KPI异常检测等任务的数据都属于多元时间序列。对于单变量时间序列来说，第T时刻的值，有可能被T时刻之前一段时间的值影响，还有可能受到更长时间之前的值影响，这两种不同时间长度的关系我们称之为短期依赖和长期依赖，如何充分利用这两种有效信息是值得我们思考的。
分析多元时间序列不仅需要考虑单变量之间长期和短期的依赖关系，更需要知道多种变量之间的相互影响。所以对于分类多元时间序列问题来说，如何充分利用长时和短时的特征、如何考虑变量之间的影响是至关重要的。

研究现状

通常有三类方案可以解决多元时间序列分类问题，分别是机器学习方法、卷积神经网络和循环神经网络。
传统的机器学习方法如PCA、SMV、随机森林等会将多元时间序列视为Order-free的问题，这会导致信息的遗失。
浅层的CNN模型普遍无法捕捉单变量的长时依赖关系，虽然可以通过加深网络的方法改善，但是会使得网络难以训练。
基于RNN的变体模型在MTS数据分类问题上取得了很好的效果，但是由于RNN顺序循环的结构特性，使其无法并行训练，网络训练消耗时间较长。而且由于其易引起梯度消失/爆炸，捕捉长时依赖也会变得困难。
综上，本文提出的一种基于CNN的交叉注意力机制，既可以使用CNN较快地训练网络，又可以有效地捕捉长时依赖关系，并且还能够发现变量对之间的关系来辅助分类。

交叉注意力（Cross Attention）

交叉注意力机制分为两种模块：Temporal attention（TA）和Variable attention（VA）

首先输入多元时间序列的矩阵，经过一个全卷积的神经网络得到有多个通道的特征图，通过TA模块得到整个时间段的注意力信息，再通过VA模块得到变量之间的关系，最后再进行分类。
之所以称之为Stabilized是因为使用了Batch Normalization（BN） 和 Batch instance selection technique：保证每一次Batch选择在任意一个类别中至少会存在N个不同的样本。

实验

本文在14个数据集上进行了测试，对比了4种SOTA算法和7种Baseline方法，表格中用Best-of-OB表示7种Baseline方法中最好的结果。在表格上面的7个数据集上，目前最好方法的精度没有超过了0.95，本文的方法CA-SFCN在6个任务上都达到了最好的结果。在下面7个数据集上，目前的最好的方法精度超过了0.95，本文的方法整体提升了2%。
同时表格的后4列又做了CA的消融实验，证明了CA方法的有效性，同时也证明了CA优于其他Attention的方法。

同时本文又尝试了将卷积的层数设置为1、3、5。可以看到CA机制在不同的层数都可以提高大约2个点。这个实验可能不够严谨，但是问题不大。

为了验证有效性，本文在训练时间上进行了比较，其中Eeg、HAR分别为小规模和大规模数据集的代表。对比的4种方法中，MLSTM- FCN是除了CA方法中精度最高的方法。从图中可以得知，CA的方法消耗的整体时间还是比较低的，虽然比MLSTM- FCN偏高，作者分析也是MLSTM- FCN第一个卷积层使用了1D卷积操作结合了所有变量的特征，而CA的方法使用2D的卷积操作，这也是为什么MLSTM- FCN不能提取到变量对之间的信息。

结论与展望

这篇文章的亮点就在于提出的CA机制，在MTS数据上可以同时利用时间维度上长、短距离的依赖关系和空间维度上变量对之间的关系。对于这篇文章来说，设计一个更好的CNN结构可能成为后续的工作。

好久之前写的了，参加个活动，哈哈哈