GNN在云服务异常检测上的应用（Graph-LSTM）

最新推荐文章于 2023-12-31 22:32:30 发布
最新推荐文章于 2023-12-31 22:32:30 发布
阅读量2.7k 收藏 15
点赞数 4
文章标签： 人工智能 大数据 python 机器学习 深度学习
原文链接：https://zhuanlan.zhihu.com/p/304871417
版权

前言

图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能与可解释性，GNN最近已成为一种广泛应用的图分析方法。真实的云服务系统中，海量机器各种时序指标相互关联彼此影响，构成了一个庞大的关系网络。如何应用GNN这一最新技术进行云系统的异常检测与故障分析呢？最近来自人工智能领域国际顶级学术期刊TNNLS的一篇论文：A Spatiotemporal Deep Learning Approach for Unsupervised Anomaly Detection in Cloud Systems 提出了一个方案。

TNNLS，全称为IEEE Transactions on Neural Networks and learning systems，是人工智能领域的国际顶级期刊，被列举为中科院SCI期刊1区，中国计算机协会推荐为B类，引用因子为7.982。

本次文章就和大家分享一下这边研究所带来的方案。

原文地址：https://ieeexplore.ieee.org/document/9228885/

数据集：https://github.com/QAZASDEDC/TopoMAD

背景与动机

解决的问题场景：大规模云系统的中的异常检测问题。

引入GNN的角度：

  • 考虑单一的Metirc可以提供单个层面级别的信息，而考虑组件的多种Metric可以提供组件级别的信息。

  • 各组成部分的相互作用关系。

  • 拓扑信息的输入和组件级的输入构成了系统级的信息，可以更全面地了解整个运行系统。

传统DNN方法的弊端：

  • 在决定组件是否处于异常状态时，有时需要考虑其连接的组件（一般DNN做不到）。

  • 随着云系统复杂性的增加，为每个组件训练和维护单个模型的难度将越来越大。（尤其在微服务场景中，指标的数量成指数级增长，及其难维护）。

  • 粗略地将整个系统看作一个笨重的组件会失去对其内部拓扑结构的洞察，从而可能增加对其正常行为建模的难度。

01

Motivation

增加拓扑信息的好处：

  • 图神经网络的特征提取器共享于来自不同组件的同类指标之间，有助于在统一的特征学习下捕获相同指标类型之间的相似模式。

  • 端到端的引入拓扑的影响。

  • 拓扑信息可以引导模型将注意力集中在现实中具有直接连接和交互的组件上，这有助于防止模型的过拟合（GAT）。

引入了无监督选择检测阈值的方法：

  • 过去的方法，类似DAGMM等，需要大量的阈值调参。在这里本论文引入无监督的模型来生成阈值，从而减少模型的调参难度。

数据处理

图 | 数据的处理与表示方式

数据分为两类：

  1.  为指标矩阵，横坐标是节点（Node），纵坐标是指标（Metric）。

  2.  为连接矩阵，主要是edge的向量矩阵，每个edge为  的一个列向量。

模型设计

图 | 模型总体设计

模型在VAE和seq2seq的基础上进行设计：

  • VAE因为其生成模型的特点，常作为异常检测的方法（生成模型能估计联合概率密度）。

  • Seq2Seq结构出自NLP领域，常用于序列建模，这也跟我们要处理的时间序列不谋而合。

  • 在这两个模型的基础上，引入Graph 网络对拓扑信息进行学习。

01

Graph-LSTM

GraphLSTM的主要思路是将LSTM中的全连接网络之前增加一个GNN，对拓扑信息和指标信息进行融合。

下面是两种LSTM的比较

Graph-LSTM unit

Origin LSTM unit


GraphLSTM 的公式

红框部分是由标准的LSTM中的  替换为  , 也就在之前添加了GNN作为拓扑信息和Metric信息的融合层，融合之后作为标准LSTM的输入。

02

TopoMAD

之后论文提出了由GraphLSTM单元组成的Seq2Seq+VAE 的模型。在训练和推理阶段的结构如下图：

训练阶段：

推理阶段：

训练的时候decoder有  的可能用原始输入  、  使用重构后的值  。（scheduled sampling process）

  • 初始化的时候  之后当val loss不减少的时候,  减半。

Loss 采用VAE的ELBO Loss结构：

03

计算异常得分

使用重构误差做为异常得分的计算：这种思想源于《Variational Autoencoder based Anomaly Detection using Reconstruction Probability》。其中  是采样数量，  是计算或更新一个异常分数的次数(the tolerance of detection delay)。

但是在某些情况下，在某些情况下，系统中某个特定组件的相对较低的重构概率就足让我们将其判断为异常。因此，我们还从组件角度计算异常分数，如下所示：

也就是组件级别的异常。

02

阈值的选择

本文提出的阈值选择一种阈值选择方法，假设正常数据的异常分数位于密度较高的区域，异常数据的异常分数位于密度较低的区域。

 

基于这一假设，选择一个阈值，使该阈值从训练数据集中切割出的两个集合与一个算子提供的范围之间的距离最大化。

实验结果

01

总体对比

本文实验使用了两个数据集，MBD（一个批处理的数据集）、NMS（微服务场景的数据集）。TopoMAD均好于传统方法。

02

鲁棒性

03

可解释性

异常的隐变量和真实的隐变量差距不大，因此VAE不会重构异常。

04

消融实验

空间信息的作用

实验方法是将矩阵随机化，这样会混淆空间信息。结果表示在混淆空间信息之后，点数会有下降。

05

复杂度分析

总结

本论文主要的目标是将拓扑信息融入到系统检测的过程中

  1. 在传统的LSTM中使用GNN的方法引入了拓扑的信息。

  2. VAE+Seq2Seq的形式，增加模型的学习能力。

AI蜗牛车
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
图神经网络 | Python实现LSTM-GNN时间序列预测
前程算法屋的博客
11-20 3810
图神经网络 | Python实现LSTM-GNN时间序列预测
图神经网络 | Python实现基于时空图卷积GNN + LSTM 模型预测（多变量方法）
前程算法屋的博客
10-29 3366
图神经网络 | Python实现基于时空图卷积 + LSTM 模型预测（多变量方法）
GCN-LSTM 图神经网络和时间序列时空组合模型使用的数据集和python代码
12-20
SZ-taxi。该数据集由深圳2015年1月1日至1月31日的出租车轨迹数据组成，本文选取罗湖区156条主要道路作为研究区域。实验数据主要包括两部分。一个是156*156的邻接矩阵，它描述了道路之间的空间关系。每一行表示一条道路，矩阵中的值表示道路之间的连接性。另一个是特征矩阵，它描述了每条道路上的速度随时间的变化。每一行代表一条路，每一列是不同时段道路上的交通速度。每15分钟计算一次每条路上的车速。GNN-LSTM GCN GNN LSTM RNN
异常检测 | Matlab基于GNN图神经网络的异常数据检测
最新发布
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
12-31 1248
异常检测 | Matlab基于GNN图神经网络的数据异常数据检测
graph-learn:工业图神经网络框架
03-20
简体中文| 介绍 Graph-Learn（GL，原AliGraph）是针对大规模图神经网络的研发和应用而设计的一种分布式框架，它从实际问题出发，提炼和抽象了一套适合于下图神经网络模型的编程范式，并已经成功应用在阿里巴巴内部的那种搜索推荐，网络安全，知识图谱等众多场景。 GL注重可移植和可扩展，对于开发者更为友好，为了应对GNN在工业场景中的多样性和快速发展的需求。基于GL，开发者可以实现一种GNN算法，或者面向实际场景定制化一种图算子，例如图采样。GL的接口以Python的和与NumPy的形式提供，可与TensorFlow或PyTorch兼容但不耦合。目前GL内置了一些结合TensorFlow开发的经典模型，供用户参考。GL可运行于Docker内部或物理机上，支持单机和多元化两种部署模式。 用户文档 连接与概念 功能扩展 模型范例 论文 如果GL对你的工作有所帮助，请引用如下论文。 @
Graph-Transformer:用于图形分类的变压器（Pytorch和Tensorflow）
04-29
图分类用变压器 这一计划规定，在描述了我们U2GNN执行，我们充分利用了变压器自重视网络，构建一个先进的聚合函数学习图形表示。 用法 消息 17-05-2020：更新Pytorch（1.5.0）实施。 要求 Python 3.x Tensorflow 1.14 张量2张量1.13 Networkx 2.3 Scikit学习0.21.2 训练 U2GNN$ python train_U2GNN_Sup.py --dataset IMDBBINARY --batch_size 4 --ff_hidden_size 1024 --fold_idx 1 --num_neighbors 8 --num_sampled 512 --num_epochs 50 --num_timesteps 4 --learning_rate 0.0005 --model_name IMDBBINARY_bs
eICU-GNN-LSTM:该存储库包含用于通过图表示学习来预测患者结果的代码（https
05-08
通过图表示学习预测患者结果 该存储库包含用于通过“图形表示​​学习”预测患者结果的代码。 您可以在以下网址观看W3PHIAI（AAAI研讨会）上的聚焦演讲视频： 引文 如果您在研究中使用此代码或模型，请引用以下内容： @misc{rocheteautong2021, title={Predicting Patient Outcomes with Graph Representation Learning}, author={Emma Rocheteau and Catherine Tong and Petar Veličković and Nicholas Lane and Pietro Liò}, year={2021}, eprint={2101.03940}, archivePrefix={arXiv}, p
PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
KI的博客
01-09 1万+
PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
A Spatiotemporal Deep Learning Approach for Unsupervised Anomaly Detection in Cloud Systems
熊熊小姐的博客
12-11 979
《A Spatiotemporal Deep Learning Approach for Unsupervised Anomaly Detection in Cloud Systems》-2020-TNNLS-B类 背景 整体结构 GraphLSTM 训练过程和推理过程 异常评分 小结：
论文阅读：图神经网络 之 语义目标解析
钉马掌的小铁匠的博客
08-16 951
Semantic Object Parsing with Graph LSTM 图神经网络 Grap Neural Network（GNN）在很多领域日益普及，包括社交网络、知识图谱、推荐系统甚至于声明科学。 GNN借鉴了CNN的思想。CNN通过卷积核共享权重参数、实现局部信息连接、并层层传递的方式将底层低级信息，转化为高级语义信息。CNN处理欧式空间数据具有优势，而图结构的数据不是欧式空间，但是...
RNN, LSTM, GRU, SRU, Multi-Dimensional LSTM, Grid LSTM, Graph LSTM系列解读
Sundrops的专栏
03-13 1万+
RNN/Stacked RNN rnn一般根据输入和输出的数目分为5种 1. 一对一 最简单的rnn 2. 一对多 Image Captioning(image -> sequence of words) 3. 多对一 Sentiment Classification(sequence of words -> sentiment) 4. 多对多: 时序不齐 Machi...
图神经网络 - Python实现LSTM-GNN时间序列预测
11-20
图神经网络 | Python实现LSTM-GNN时间序列预测 LSTM-GNN用于病人的结果预测：一个混合模型，结合了用于提取时间特征的长短期记忆网络（LSTM）和用于提取病人邻域信息的图谱神经网络（GNN）。 关于预测重症监护室（ICU）病人结果的工作主要集中在生理时间序列数据上，基本上忽略了诊断和药物等稀疏数据。当它们被包括在内时，它们通常是在模型的后期阶段被串联起来的，这可能难以从更罕见的疾病模式中学习。通过在图中连接类似的病人，将诊断作为关系信息加以利用。 LSTM-GNNs在eICU数据库的住院时间预测任务中的表现优于仅有LSTM的基线。利用图神经网络从相邻的病人病例中提取信息是一个很有前途的研究方向，在电子健康记录的监督学习性能方面产生了切实的回报。
【GNN报告】香港科技大学李佳：图异常检测再思考—我们究竟需要怎样的图神经网络？
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-21 1664
首次从谱域的角度分析了异常数据可能造成的影响
技术动态 | GNN如何建模时间序列？莫纳什大学等最新《时间序列图神经网络综述:预测、分类、插补和异常检测》...
开放知识图谱
07-31 692
转载公众号 | 专知时间序列是用于记录动态系统测量结果的主要数据类型，并由物理传感器和在线过程（虚拟传感器）大量生成。因此，时间序列分析对于发掘可用数据中隐含的信息丰富性至关重要。随着图神经网络（GNNs）的最近进步，基于GNN的时间序列分析方法的研究有所增加。这些方法可以明确地模拟时间和变量之间的关系，这是传统的和其他基于深度神经网络的方法难以做到的。在这次综述中，我们对图神经网络进行了全面的时...
图神经网络（GNN）简介
热门推荐
陨星落云的博客
10-06 1万+
资料来源：Manuchi，通过图片（CC0） Graph Neural Network（GNN）由于具有分析图形结构数据的能力而受到了广泛的关注。本文对Graph Neural Network进行了简要介绍。它涵盖了一些图论，以便于理解图和分析图时遇到的问题。然后介绍了不同形式的Graph神经网络及其原理。它还涵盖了GNN可以做什么以及GNN的一些应用。 图论 首先，我们需要知道什么是图。 图是一种由两个部分组成的数据结构：顶点*和edge*。它用作分析对象和实体之间成对关系的数学结构。通常，将图定义为G.
《使用图LSTM进行语义对象解析》--论文阅读笔记
LIYUO94的博客
10-24 1478
Semantic Object Parsing with Graph LSTM原文 GraphSage代码阅读笔记（TensorFlow版）目录摘要1.介绍2 Related Work3 The Proposed Graph LSTM3.1 Graph Construction3.2 Graph LSTM4 Experiments4.1 Results and Comparisons4.2 Discussions4.3 More Visual Comparison and Failure cases5 Co
图神经网络（GNN）过去、现在、应用和未来最新研究进展分享
weixin_40920183的博客
02-01 1948
来源：深度学习与NLP GNN是Graph Neural Network的简称，是用于学习包含大量连接的图的联结主义模型。近年来，图神经网络(GNN)在社交网络、知识图、推荐系统甚...
语义分割深度学习方法集锦
生如蚁，美如神
01-19 1万+
转载：https://github.com/handong1587/handong1587.github.io/edit/master/_posts/deep_learning/2015-10-09-segmentation.mdPapersDeep Joint Task Learning for Generic Object Extraction intro: NIPS 2014 homepage
【时序异常检测翻译】1.DeepAnT: A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series
yy1158047452的博客
02-25 3269
DeepAnT：一种用于时间序列中无监督异常检测的深度学习方法 摘要 传统的基于距离和密度的异常检测技术无法检测流数据中常见的周期性和季节性点异常，在当前物联网时代，时间序列异常检测存在很大差距。为了解决这个问题，我们提出了一种新的基于深度学习的时间序列数据异常检测方法（DeepAnT），该方法同样适用于非流情况。DeepAnT能够检测范围广泛的异常，即时间序列数据中的点异常、上下文异常和不一致。与学习异常的异常检测方法不同，DeepAnT使用未标记的数据来捕获和学习用于预测时间序列正常行为的数据分布。De
GNN-LSTM 代码
05-30
以下是使用PyTorch实现的GNN-LSTM的代码示例，其中包括了GNN和LSTM的实现： ```python import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GCNConv class GNNLSTM(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers, dropout): super(GNNLSTM, self).__init__() self.input_dim = input_dim self.hidden_dim = hidden_dim self.output_dim = output_dim self.num_layers = num_layers self.dropout = dropout # GNN part self.conv1 = GCNConv(input_dim, hidden_dim) self.convs = nn.ModuleList() for i in range(num_layers - 1): self.convs.append(GCNConv(hidden_dim, hidden_dim)) self.conv_last = GCNConv(hidden_dim, output_dim) # LSTM part self.lstm = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True, dropout=dropout) def forward(self, x, edge_index, h, c): # GNN part x = F.relu(self.conv1(x, edge_index)) for conv in self.convs: x = F.relu(conv(x, edge_index)) x = F.dropout(x, self.dropout, training=self.training) x = self.conv_last(x, edge_index) # LSTM part x, (h, c) = self.lstm(x.unsqueeze(0), (h, c)) x = x.squeeze(0) return x, h, c ``` 在这个GNN-LSTM模型中，我们使用了一个GCNConv层来实现GNN的部分，使用了一个nn.LSTM层来实现LSTM的部分。在forward方法中，我们首先对输入进行GNN计算，然后将结果作为LSTM的输入，获得最终的输出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值