时间序列数据挖掘--机器学习+统计学方法+kdd论文（三）----Tripoles: A New Class of Relationships in Time Series Data

机器学习+统计学+kdd1718论文

机器学习下的时间序列

统计学下的时间序列

KDD2017论文 Tripoles: A New Class of Relationships in Time Series Data

Abstract 摘要

以往的时间序列论文都是挖掘 pair-wise relationships（两极），本论文提出方法Tripoles，这包括三种相关联的时间序列关联模式（三极），能够发现pair-wise relationships模式中挖掘不出的东西。
总结：传统两极关系，论文三极关系

Keywords 关键词

multivariate linear patterns; correlation mining; （多线限行模式，关联挖掘）
spatio-temporal; climate teleconnections; fMRI（应用领域）

Introduction 介绍

之前针对时间序列相关性分析–pair-wise relationships：

1. 实现了fMRI，获得了大脑的两个领域关联，呈现了可视化图像
2. 发现teleconnections，大气的遥相关

本文的Tripoles：

…其中有三个time series T0，T1，T2
…T0位root；T1，T2为leaves
…T1，T2合起来一起对T0的影响为T1+2=T1+T2
…发现共同影响的权值>单独影响的权值

Tripoles的例子1:

…T0，T1，T2是在地图上三个路上的车流量时间序列
…曲线是T0，T1，T2的车流量
…紫色是T1+T2，发现紫色曲线和蓝色曲线的相关性很大
…解释：T1在工作日的车流量多，T2在周末车流量多，两者相加得到中和，更加符合T0的流量模式

Tripoles的例子2：

…紫色T1+T2与T0相关性超级高，但T1，T2分别与T0的相关性也很高
…只有T1+T2与T0相关性超级高，但T1，T2分别与T0的相关性不高时才有趣，本例子不能体现Tripoles的优点

Tripoles的例子3：

…遥相关teleconnections的新模式，不再是两地的遥相关，而是三地的遥相关

Tripoles的困难：

1. 首创
2. 对于大量的数据，找出存在Tripoles，需要$\left(\begin{array}{c}3\\ n\end{array}\right)$
3. 没有ground truth

论文的工作

1. 定义Tripoles概念
2. 评估方法
3. 发现Tripoles方法，不再是$\left(\begin{array}{c}3\\ n\end{array}\right)$蛮力搜索，效率提高。
   方法基于：
   （1）预剪枝
   （2）利用不同时间序列之间的紧密关系结构(例如，时空数据集中的空间自相关)
4. 使用神经科学和气候科学领域的两个真实数据集没证明提出的方法相对于蛮力计算的效率
5. Tripoles计算的意义和重要性
6. 许多发现的Tripoles在独立数据集中可重复，可能揭示未知现象。

Definitions 定义

1. 数据集：
   包含n个时间序列的数据集，其中每个时间序列的均值为0，方差为1（预处理可以实现）
   
2. Tripoles
   
3. 相关性
   
   …此时T1+2使用T1+T2并且预处理使得均值为0，方差为1。其实还有其他的方法表示T1+2，但论文简单的使用T1+T2数值相加。
   …相关性可正可负，绝对值越大，相关性越大。正相关为positive tripoles，负相关为negative tripoles
   …corr是相关系数
   
4. jump
   
   …the jump can be used as a useful measure to identify interesting tripoles in time-series data.
   …jump可以来衡量Tripoles使用的有效性（例子2就是不有效的）
5. 有效的Tripoles/ 有趣的Tripoles（注意这是一个Tripoles的集合）
   
   当jump大于一个阈值的时候，说明这个Tripoles是有效的
6. Tripoles的相似性
   
   …当两个Tripoles中的T0，T1，T2相关度都大于阈值的时候，认为两个T0，T1，T2相关
   …有了相关定义，我们才能找出n个time series中没有冗余的多个Tripoles
7. 非冗余的Tripoles的集合
   
8. 问题描述
   
   …通过定义和求解1-6，我们可以得出7
   …7定义的非冗余Tripoles集合是本论文的目的

Proposed approach 提出的方法

1. 发现Tripoles的方法： COst-efficieNt TRipole Finding (CONTRa) approaches
2. 暴力枚举求法：naive approach
3. 两种 CONTRa的实现：CONTRaComplete ； CONTRaFast
4. CONTRaComplete：使用 pair-wise correlations, the jump threshold δ来剪枝（完整性保持，慢）
5. CONTRaFast：通过剪枝来改善运行时间，但损失了c这个集合的完整性（完整性不保持，快）

naive approach

…算法1是求不冗余的完整的c
…其实就是使用$\left(\begin{array}{c}3\\ n\end{array}\right)$找出每三对看是不是Tripole，若是的话，加入c，并对c去掉冗余

…算法2是用来去掉c中的冗余的
…找出c中jump最高的Tripole保留，去掉和此Tripole相似的Tripole

CONTRaComplete

用于剪枝的参数计算

1. 计算jump
   （这里发现论文的推导过程存在错误，给作者发了邮件指出错误后，做了一下修改，见手写版）
   
   
   虽然论文在推导中出现了小小的错误，但并没有影响结果，得到jump的计算公式为：
   
2. 最大wise-pair相关系数s
   
3. jump的uper bound
   
   推导过程论文中很详细并且没有错，因此不再写出。
4. s的lower bound
   
   …根据3给出的jump的uper bound，我们可以使用相同的公式得出s的lower bound。
   …这样，我们的s有一个下界，在选择三个时间序列计算是不是Tripole时可以根据s的值来去掉一部分候选集（剪枝）
5. 针对negative interesting tripole的jump
   4中提出的jump的uper bound只能用于positive interesting tripole，因为negative interesting tripole的jump为正，negative interesting tripole的jump为负。
   
   证明在论文中，不再详述

CONTRaComplete算法

…算法就是在集合上找三组time series满足45的s，第8行，对c进行去冗余是naive算法中的algorithm 2
…CONTRaComplete就是在naive算法的挑选候选tripole上做了改变，不是用$\left(\begin{array}{c}3\\ n\end{array}\right)$对每三个time series都进行，而是有条件的选择，从而进行了剪枝，加快了速度。

CONTRaFast

在CONTRaComplete的基础上做了一点改变，第4行：


…CONTRaFast算法是在CONTRaComplete的基础上在选三个time series来计算看是不是interesting tripole时加入过滤。
…如果两个t的相似度高于k，那么不选。
…若k=1则CONTRaFast=CONTRaComplete。
…此时的算法基于前面的观察，如例子2，本身相关性很高的二极对，就不用再发现三极对了，但这种方法可能导致找到的c不完全，有unconplete问题。不过还是加快了速度。

Experience results and evaluation

Data and Pre-processing

使用了两个数据源测试：

1. Global Sea Level Pressure (SLP) Data 海洋压强水平
2. Brain fMRI Data 脑核磁共振数据
   预处理：
   均值为0，方差为1. 对一些阈值参数进行选择。
   （按照我以往的方式，我在做相关工作的时候一般不把阈值初定，而是定一些，使用目标优化的方式来选择阈值。但在这篇论文中，由于提出的是一个新的idea，因此没有ground truth，无法对参数进行选择，因此阈值只能人工的初定）

Evaluation of CONTRa

使用的标准：

1. Computational Time (Cost)
2. Fraction of missed interesting tripoles (MissFrac)，此时不完整性的判断是按照k=1为基准的，也就是CONTRaComplete找出c为基准

Evaluation of discovered Tripoles

Physical interpretation of Tripoles

针对两个数据集，使用Tripoles后的新发现

Discovery of a New Climate Teleconnection

使用Tripoles在环境遥相关上发现了新的规律

Discovering discriminative relationships between a resting and an audio-visual task in fMRI data

使用Tripoles在脑感知上发现了新的规律，如图发现了新的感知模式：

总结

整篇论文看下来非常的顺畅，对数学功底的要求不高，使用的知识也都十分基本。亮点在于提出了新的相关模式–三极相关，运用到了一些领域并取得了好的效果。
最关键的贡献在于可以运用到气象和生物领域，为新知识的发现提供了好的帮助。