KDD 2018 | 小波分解网络用于可解释的时间序列分析

关注微信公众号“时序人”获取更好的阅读体验

时间序列学术前沿

1. NeurIPS 2020 | 时间序列相关论文一览
2. ICML 2020 | 时间序列相关论文一览
3. KDD 2020 | 时间序列相关论文一览
4. 智能运维 | 故障诊断与根因分析论文一览
5. WWW 2020 | 通过多源时间序列诊断微服务故障根因
6. WWW 2020 | 多源时序数据驱动用于窃电行为识别
7. AAAI 2020 | 时序转化为图用于可解释可推理的异常检测
8. KDD 2018 | 小波分解网络用于可解释的时间序列分析

---

时间序列数据的分析方法可以分为基于时域和基于频域的两类方向。基于时域的方法将时序数据当作有序点的序列，然后分析这些点的相关性。基于频域的方法利用一个转换算法（如离散傅里叶变换，Z变换等）将时序数据转换到频谱，然后将这些频谱数据作为特征来分析。

现有的基于深度学习的方法都是基于时域的方法。

小波分解是一种典型的将数据转换到同时带有时域和频域特征的方法，将原始的时间序列通过小波转换后得到特征，再送给神经网络，比直接利用神经网络的方法在性能上会更优。

会议概况

ACM SIGKDD（Conference on Knowledge Discovery and Data Mining, KDD）是世界数据挖掘领域的最高级别的国际会议，由 ACM（Association of Computing Machinery，计算机学会）的数据挖掘及知识发现专委会（SIGKDD）负责协调筹办，被中国计算机协会荐为A类会议。
自 1995 年以来，KDD 已经以大会的形式连续举办了二十余届全球峰会，作为数据挖掘领域最顶级的学术会议，KDD 大会以论文接收严格闻名，每年的接收率不超过 20%，颇受行业关注。

论文标题 | Multilevel Wavelet Decomposition Network for Interpretable Time Series Analysis
论文来源 | KDD 2018
论文链接 | https://dl.acm.org/doi/10.1145/3219819.3220060
论文源码 | https://github.com/chenfei0328/mWDN-RCF

---

模型

多级离散小波分解

一个小波函数（基函数）包含一个低通滤波器和一个高通滤波器。将一条时序数据通过一次小波分解能得到一个低通分量和一个高通分量。将得到的低通分量通过1/2下采样后，再进行一次小波分解同样可以得到一个低通分量和一个高通分量。依次下去，最后可以得到一个高通分量和$n$个低通分量。

多级小波分解网络

本文引入了多级小波分解网络，这也是本文最大的亮点之一。如果没有这个网络，最简单的做法是先将时序数据做多级小波分解，分解得到的特征直接送给后续处理的神经网络。这种做法的缺点是将小波分解和神经网络这两个过程分离，不能够互相影响，也就是说此时的小波分解是一个静态的过程，相当于预处理。

有了这个小波分解网络，可以将小波分解和后续处理的神经网络进行联合处理。也就是说将小波分解的过程在神经网络框架中实现，原来的小波函数中的值变成神经网络中的参数，可以和后续处理的神经网络中的参数一起优化。这样做的好处是，相比于原来的做好：给定一个小波函数，则函数中的滤波系数是固定不变的。变得可调之后，相当于这些滤波系数是针对给定的数据集做过了优化，显然效果会更好。

接下来将如何将小波分解的过程在神经网络框架中实现。其实小波分解就是小波函数以滑动窗口的形式和原始数据做点乘，和卷积的过程类似，如下图所示，其中$W$矩阵中有颜色的部分填充小波函数的滤波系数，其他部分填充0。在训练过程中，$W$矩阵中所有值都可以调整。

接下来，本文介绍了两种分析任务：分类和预测，分别对应的处理网络为：残差分类流（Residual Classification Flow）和多频LSTM（Multi-frequency Long Short-Term Memory）。下面分别介绍这两个网络。

残差分类流

对于分类任务，如下图所示，原始时序数据通过多级小波分解网络会得到多级的序列，对每一级的序列送到一个分类网络 $\psi$中，将上一级的结果和当前级 $\psi$ 的输出结果相加，得到当前级的分类结果。

分类网络 $\psi$ 是直接利用了现有的网络，本文中采用了该文中的网络。

多频LSTM

对于预测任务，如下图所示，原始时序数据通过多级小波分解网络会得到多条的序列，分别送入一个lstm网络中，将所有的lstm的输出进行ensemble，得到最终的预测结果。

实验

需要说明一下的是，本文中分类和预测任务所用的数据集都是单变量的时序数据，多级小波分解只适用于单变量的时序数据，如何将本文方法扩展到多变量的时序数据有待探究。

该文列举了在UCR公开数据集上时序分类任务的表现。

可解释性

本文另一个大的亮点就是方法的可解释性。
本文提出了一种重要性分析方法，既然多级小波分解可以得到不同级别的序列，那究竟哪个级别的序列对分类/预测任务更重要呢？直接上文中的实验结果吧：

• 分类任务
  • 对于一条时序数据，区分度大的部分越重要。
  • 越高频层级（第一次分解得到的）越重要，其更能反映细粒度的差异性。
• 预测任务
  • 最近的数据比老的数据重要，原因很简单。
  • 越低频层级（分解到最后的层）的序列越重要，其更能捕获趋势信息来反映将来。

---

更多原创内容与系列分享，欢迎关注微信公众号“时序人”获取。