Time2Graph+: Bridging Time Series and Graph Representation Learning via Multiple Attentions
Time2Graph+:通过多注意力连接时间序列和图表示学习
现状:基于shapelet的模型旨在提取具有代表性的子序列,并可以为下游任务提供解释性理解。
问题:对shapelet的提取忽略了时间因素,以及进化特征。
提出:一种连接时间序列表示学习与图建模的框架
时间感知:时间注意力机制
演进:引入将时间序列数据转换为 shapelet 进化图的关键思想,对 shapelet 进化模式进行建模
time2graph+:将每个时间序列数据转换为唯一的未加权 shapelet 图,并使用 GA T 自动捕获 shapelet 之间的相关性。
1 intro
当前研究的问题:
特征工程:需要足够的专家知识,并且不能跨不同的数据域泛化,
深度序列模型:于缺乏可解释性
shapelet:可解释的代表性子序列。
shapelet的动态性:
相同的 shapelet 出现在不同的时间片上可能会产生不同的影响。
shapelets 随时间演变的方式对于充分理解时间序列数据也至关重要。
shapelet的限制:
1.shapelet与segment的对应可能与事实不符(这不就推翻了shapelet作为segment的基本逻辑吗?)
2.shapelets 之间的一些弱转换可能会被放大,在边权归一化后可能会放大噪声连接
3.shapelet仅仅关注边权大的转换,但边权小的不一定是不正常,可能指向独特的转换模式。
我们不是为所有时间序列数据构建统一的 shapelet 演化图,而是首先将每个时间序列转换为唯一的未加权图(L3),因为不同的序列可能具有不同的演化模式,即图结构;然后应用图注意力机制来捕获 shapelet 之间的转换模式,通过分配可自然地解释为 shapelet 转换概率(L1 和 L2)的可学习动态边权重。
Time2Graph+ 模型首先学习时间感知 shapelets,并在每个月分配几个在某个阈值下接近相应段的模式。例如,我们为用红色框标记的子序列呈现分配的 shapelet #40,以及图 1a 底部的时间级注意力,其中深色区域表示与浅色区域相比,相应的时间步更重要.(夏冬比春秋的用电更有特点)然后 Time2Graph+ 旨在通过图对 shapelet 进化进行建模(图 1b,c):它为每个时间序列构建 shapelet 进化图,并通过应用图注意力机制捕获单个 shapelet 进化模式。图结构和边上的注意力分数揭示了 shapelet 进化模式,如图 1b 所示:图中有几个度数较大的居中顶点,top-2 是 shapelet-#34 和 #40(标记为带红色圆圈);这意味着对于老年人 #44,最典型的 shapelet 过渡模式是从或演变为这两个居中的 shapelet。此外,在专家领域知识的帮助下,可以从构建的图和时间级注意力中推断出额外的解释性见解,如图 1c 所示: shapelet #34 是一个陡峭的波动形状,后面是一个非常平坦的序列;它的时间级注意力矩阵强调陡峭的波动具有较大的注意力权重,这种形状在春季和秋季(尤其是在 3 月和 11 月)更具代表性。这可能是典型的空巢老人用电模式,在换季期间用电量不稳定,然后进入相对平稳的状态。
本文工作:
- 时间序列数据转换为 shapelet 图以对子序列动态进行建模的关键思想。
- 提出time2graph和time2graph+
- 实验及使用
2 relative work
传统的时间序列分类模型:从序列中提取有效的特征→训练分类器→没有明确的序列中的特征
基于DTW和传统嵌入技术的模型:将原始时间序列数据投影到特征向量空间中
……
图嵌入的三种逻辑:
邻接矩阵→每一行的隐藏特征向量
随机游走→结构信息→embedding(deep walk)
深度学习模型→ DNN 学习节点特征。
4.3 Time2Graph+
原本的方式:p=pvij*pvi+1k有缺陷
有偏:边缘权重只是对转移概率的估计