论文笔记：FILLING THE G AP S: MULTIVARIATE TIME SERIES IMPUTATION BY GRAPH NEURAL NETWORKS

已于 2023-02-19 18:10:24 修改
阅读量1.2k 收藏 5
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
于 2022-09-12 23:53:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/126824730
版权

0 abstract & introduction

  • 之前的补全方法并不能很好地捕获/利用 不同sensor之间的非线性时间/空间依赖关系
  • 高效的时间序列补全方法，不仅应该考虑过去（或者未来）的数值，还应该同时考虑空间上邻近的点的测量值（这里的空间不一定是地理空间、还可能是embedding的隐空间）
    • ——>这篇文章提出了GRIN，利用GNN中的message passing 来学习时空表征，以帮助进行时间序列补全

1 preliminary

1.1 图序列

  • 某一时刻的一张图是\mathcal{G}_t=<X_t,W_t>
    • X_t \in R^{N_t \times d}表示点属性矩阵，其中第i行是第i个点在t时刻的d维属性
    • W_t \in R^{N_t \times N_t}表示邻接矩阵
    • 注意这一张图在不同时刻的拓扑关系不会变，也就是Nt=N，Wt=W
  • 吧不同时刻的图\mathcal{G}拼成一个序列，就是一个图序列

1.2 多元时间序列补全（MTSI）

  • 二元掩码矩阵M_t \in \{0,1\}^{N_t \times d}
    • 如果m_t^{i,j}为0，则表示t时刻i点的j属性没有值，反之则表示有值
  • MTSI（multivariate time series imputation）的目标是：
    • 给定一个图序列\mathcal{G}_{[t,t+T]}，我们定义丢失数据重构误差：
      • \hat{x}_h^i 是重构值，\tilde{x}_h^i是ground-truth
      • \bar{M}_{[t,t+T]}表示M_{[t,t+T]}的补
      • l是逐元素的误差函数
      • <>表示内积
      • 右边的分母表示一共有多少个missing value，分子表示这些missing value对应的位置，imputation和ground-truth的区别

2 模型部分

2.1 模型整体

损失函数是每个阶段的重构误差+最终阶段的重构误差 

 2.2  时空encoder

输入上一时刻的隐藏表征H_{t-1}，当前时刻的图\mathcal{G}_t,输出当前时刻的隐藏表征Ht

 

 2.2.1 MPNN

MPNN由k层message passing network组成

 2.3 个人理解

把encoder和decoder放在GRU那张图里面，我觉得可以这么理解：

 imputation就是decoder，每一次时空encoder，我们输出Ht，它是用来补全Xt+1的（有值的还是Xt+1的内容，无值的就是Ht）

得到Xt+1之后，我们在用它和Ht，喂入时空encoder，得到t+2的Ht，即

但这样的话，还有一个问题是：X0时刻，有缺失值，怎么办》 

2.4 时间复杂度

论文中说是O(E)，个人觉得是O(TEK)? 

3 实验

3.1 补全效果

 

UQI-LIUWJ
关注
专栏目录
Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks
羊城迷鹿的博客
11-28 1682
研究问题 首次使用GNN去解决多元时间序列插补问题 背景动机 在真实场景下，时间序列数据通常是不完整的，通过插补方法来对缺失值进行填充是一项必要工作（和时间序列的预测问题相比，插补法不仅可以利用过去的事件信息，也可以利用未来的时间信息） 现有方法无法有效捕捉到传感器网络中存在的非线性时间和空间依赖性，也无法充分利用关系信息 两个传感器具有空间相似性不意味着物理上接近，而是说它们的数据变化比较相关 考虑到图神经网络可用于处理具有关系归纳偏差的序列数据，论文提出了一个称之为GRIN的GNN框架，通过消息传递学
论文笔记：Multivariate Time-series Imputation with Disentangled Temporal Representations
qq_40206371的博客
03-03 852
ICLR 2023。
filling the g ap s: multivariate time series imputation by graph neural networks
小蚂蚁与大象
06-02 1122
filling the g ap s: multivariate time series imputation by graph neural networks 在处理来自真实应用程序的数据时，处理缺失的值和不完整的时间序列是一项劳动密集型、乏味且不可避免的任务。有效的时空表征将允许imputation方法通过利用来自不同位置传感器的信息来重建缺失的时间数据。然而，标准方法在捕捉相互连接的传感器网络中存在的非线性时间和空间依赖性方面存在不足，而且不能充分利用可用的和通常很强的关系信息。值得注意的是，大多数
GAN-RNN_Timeseries-imputation:用于估算时间序列数据的递归GAN。 在Kaggle的Wikipedia Web流量预测数据集的TensorFlow 2中实现
05-28
作者： Ivan Bongiorni ，数据科学家。 卷积递归Seq2seq GAN用于时间序列数据中缺失值的插补 描述 该项目的目标是为时间序列数据的插补实现递归卷积Seq2seq神经网络的多种配置。 提供了三种实现： 循环卷积seq2seq模型。 基于上述相同体系结构的GAN （生成对抗网络），其中训练了Imputer来欺骗试图区分真实和假（推算）时间序列的对抗网络。 一种部分对抗的模型，其中先前模型的两种损失结构都组合在一个模型中：Imputer模型必须减少真实的错误损失，同时尝试欺骗鉴别器。 模型在TensorFlow 2中实现，并在数据集中进行了训练。 档案文件 config.yaml ：用于数据预处理，培训和测试的配置参数。 管道： main_processing.py ：启动数据预处理管道。 其结果是将准备好训练的数据集以.npy（ numpy ）格式保存在/da
论文笔记--Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
chenxino的博客
09-24 2452
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series Summary 给定多元时序数据（传感器数据），如何检测异常事件（系统错误或者被攻击）？怎样捕获传感器之间复杂关系，解释异常偏离了那些关系？现有的方法没有明确学习变量之间关系结构，用它们预测事件序列的预测行为。作者结合结构学习方法和图神经网络，用注意力权重为检测到的异常提供解释。 Problem Statement 挑战 将图神经网络用于时序数据的异常检测需要
GP-VAE: Deep Probabilistic Time Series Imputation 笔记
YYY7的博客
05-26 808
GP-VAE的论文笔记
Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting
小蚂蚁与大象
10-27 456
然而，在现实世界的许多MTS中存在多尺度时间模式，单一的变量间依赖使得模型更倾向于学习一种突出且共享的时间模式。由于变量间依赖关系在不同的时间尺度下可能是不同的，因此设计了一个自适应图学习模块来推断特定于尺度的变量间依赖关系，而不需要预先定义先验。针对多尺度特征表示和特定尺度的变量间依赖关系，引入多尺度时间图神经网络对变量内依赖关系和变量间依赖关系进行联合建模。然后，我们开发了一个尺度融合模块，有效地促进了不同时间尺度的协作，并自动捕获贡献的时间模式的重要性。
时间序列（Time-Series）exp_imputation.py代码解析
qq_33712422的博客
01-23 583
mask[mask <= self.args.mask_rate] = 0 # masked #被掩盖。mask[mask > self.args.mask_rate] = 1 # remained #保留。mask[mask <= self.args.mask_rate] = 0 # masked #被掩盖。mask[mask > self.args.mask_rate] = 1 # remained #保留。#将数据的数据类型转化为浮点型，加载到GPU或CPU。
论文笔记：Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker
u011150266的博客
06-21 2150
论文地址：https://arxiv.org/pdf/2105.14924.pdf 代码地址：https://github.com/RunxinXu/GIT (Will be released soon) 数据集：Chinese financial documents
NIPS2018深度学习(20)|亮点: 双向RNN时间序列;对抗自编码异常检测;脉冲神经网络(论文及代码)...
hestendelin的专栏
04-15 2612
[1]BRITS:BidirectionalRecurrentImputationforTime SeriesWei Cao,Dong Wang,Jian...
Using Word Confusion Networks for Slot Filling in Spoken Language Understanding
02-22
The state of the art models for slot filling rely on using discriminative sequence modeling methods, such as conditional random fields (CRFs), recurrent neural networks (RNNs) and the recent ...
Theano-Deep Learning Tutorials 笔记：Recurrent Neural Networks with Word Embeddings
JiangV的博客
02-19 2811
python 实现 基于Elman RNN的word embedding
【gcc】RtpTransportControllerSend学习笔记 3：gcc 算法
突围
10-07 1324
gcc
读论文《用于多变量时间序列预测的多尺度自适应图神经网络》
vzvzvzv的博客
06-04 1705
原标题《Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting》
Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting（NIPS2020）
小蚂蚁与大象
06-05 883
Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting（NIPS2020） 背景：希望结合GFT和DFT的优点，完全在光谱领域对多元时间序列数据进行建模。首先应用GFT将结构多变量输入转换为光谱时间序列表示，而不同的趋势可以分解为正交的时间序列。利用DFT将每个单变量时间序列转移到频域。经过GFT和DFT之后，光谱表示变得更容易被卷积和序列建模层识别。此外，在端到端框架中加入了一个潜在相关层来自动.
[论文解读]All in one：: Multi-Task Prompting for Graph Neural Networks图神经网络的多任务提示
最新发布
人工智能曾小健
02-26 1327
这个函数可能是对提示图参数进行操作的某种计算，比如根据这些参数生成新的节点表示，或者更新模型的状态以适应新任务。在不同的上下文中，函数 f(θ) 可以有不同的具体含义，它通常会涉及到如何使用这些参数来影响模型的行为或其对数据的处理方式。不过，由于我无法直接查看PDF文件的内容，所以这里的解释是基于常见的机器学习和深度学习术语的一般性解释。提示图是一种用于调整预训练模型以适应特定任务的结构，这些参数可能包括用于构造提示的节点和边的权重，或者其他用于定义提示图结构的属性。与原始图 G 结合后的新表达式。
Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting
小蚂蚁与大象
08-18 1262
当我们提出进一步解决上述两个问题时，面临三个挑战:1)演进的图结构不仅受当前输入的影响，而且与前一个时间步的自身具有很强的相关性。变量之间的依赖关系不仅会随着时间的推移而变化，而且会在不同的时间尺度上发生变化，固定的邻接矩阵很难描述这种相关性。此外，不同时间尺度下的图结构演化模式也不尽相同。总之：这篇论文是演化图神经网络的应用，与之前KDD2020上的静态图结构，以及在ICDE2021上的图卷积神经网络识别不同时间粒度主题类似。最后，在单步和多步预测任务上的实验证明了我们的方法比最先进的方法的优越性。...
时间序列补全
WenbinYao&YouweiHu
02-01 2898
今天实习做项目时遇到一个问题，就是时间序列中存在个别日期的缺失，因此需要对日期进行补全，然后在网上搜到一篇博文，可以解决此问题，但是这篇博文中的代码存在一个地方有个小bug，因此在此记录下，博文原地址：https://blog.csdn.net/leo_sheng/article/details/83316285 改正后的代码为： import pandas as pd import dateti...
时间序列数据补全任务——ST-MVL
Superyyff的博客
05-29 1164
ST-MVL: Filling Missing Values in Geo-sensory Time Series Data阅读笔记 文章目录ST-MVL: Filling Missing Values in Geo-sensory Time Series Data阅读笔记摘要一、方法1. 全局空间视图-IDW2. 全局时间视图-SES3. 局部空间视角-UCF4. 局部空间视图-ICF5. 多视图学习二、实验总结 摘要 许多传感器已在物理世界中部署，生成了大量的地理标签时间序列数据。 实际上，由于传感器
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值