lstm处理时序数据结构图_时序数据分析-【论文阅读】（1）

论文题目：Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis （发表在KDD2018上，作者单位为北航）

论文地址：

https://arxiv.org/pdf/1806.08946.pdf​arxiv.org

1 背景

时序数据分析方法可以分为基于时域和基于频域的方法。基于时域的方法将时序数据当作有序点的序列，然后分析这些点的相关性。基于频域的方法利用一个转换算法（如离散傅里叶变换，Z变换等）将时序数据转换到频谱，然后将这些频谱数据作为特征来分析。

现有的基于深度学习的方法都是基于时域的方法。

小波分解是一种典型的将数据转换到同时带有时域和频域特征的方法，将原始的时间序列通过小波转换后得到特征，再送给神经网络，比直接利用神经网络的方法在性能上会更优。

2 模型

2.1 多级离散小波分解

一个小波函数（基函数）包含一个低通滤波器和一个高通滤波器。将一条时序数据通过一次小波分解能得到一个低通分量和一个高通分量。将得到的低通分量通过1/2下采样后，再进行一次小波分解同样可以得到一个低通分量和一个高通分量。依次下去，最后可以得到一个高通分量和

个低通分量。

2.2 多级小波分解网络

本文引入了多级小波分解网络，这也是本文最大的亮点之一。如果没有这个网络，最简单的做法是先将时序数据做多级小波分解，分解得到的特征直接送给后续处理的神经网络。这种做法的缺点是将小波分解和神经网络这两个过程分离，不能够互相影响，也就是说此时的小波分解是一个静态的过程，相当于预处理。

有了这个小波分解网络，可以将小波分解和后续处理的神经网络进行联合处理。也就是说将小波分解的过程在神经网络框架中实现，原来的小波函数中的值变成神经网络中的参数，可以和后续处理的神经网络中的参数一起优化。这样做的好处是，相比于原来的做好：给定一个小波函数，则函数中的滤波系数是固定不变的。变得可调之后，相当于这些滤波系数是针对给定的数据集做过了优化，显然效果会更好。

接下来将如何将小波分解的过程在神经网络框架中实现。其实小波分解就是小波函数以滑动窗口的形式和原始数据做点乘，和卷积的过程类似，如下图所示，其中

矩阵中有颜色的部分填充小波函数的滤波系数，其他部分填充0。在训练过程中，

矩阵中所有值都可以调整。

接下来，本文介绍了两种分析任务：分类和预测，分别对应的处理网络为：残差分类流（Residual Classification Flow）和多频LSTM（Multi-frequency Long Short-Term Memory）。下面分别介绍这两个网络。

2.3 残差分类流

对于分类任务，如下图所示，原始时序数据通过多级小波分解网络会得到多级的序列，对每一级的序列送到一个分类网络

中，将上一级的结果和当前级

的输出结果相加，得到当前级的分类结果。

分类网络

是直接利用了现有的网络，本文中采用了该文中的网络。

2.4 多频LSTM

对于预测任务，如下图所示，原始时序数据通过多级小波分解网络会得到多条的序列，分别送入一个lstm网络中，将所有的lstm的输出进行ensemble，得到最终的预测结果。

3 实验

需要说明一下的是，本文中分类和预测任务所用的数据集都是单变量的时序数据，多级小波分解只适用于单变量的时序数据，如何将本文方法扩展到多变量的时序数据有待探究。

4 可解释性

本文另一个大的亮点就是方法的可解释性。

本文提出了一种重要性分析方法，既然多级小波分解可以得到不同级别的序列，那究竟哪个级别的序列对分类/预测任务更重要呢？直接上文中的实验结果吧：

• 分类任务
  • 对于一条时序数据，区分度大的部分越重要。
  • 越高频层级（第一次分解得到的）越重要，其更能反映细粒度的差异性。
• 预测任务
  • 最近的数据比老的数据重要，原因很简单。
  • 越低频层级（分解到最后的层）的序列越重要，其更能捕获趋势信息来反映将来。