DeepTraLog: Trace-Log Combined Microservice AnomalyDetection through Graph-based Deep Learning

已于 2023-02-20 17:39:35 修改
阅读量1.4k 收藏 3
点赞数 4
分类专栏： 论文 文章标签： 深度学习 微服务 故障定位 分布式系统 链路追踪
于 2022-05-18 22:38:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNwzl/article/details/124852880
版权
本文介绍了一种基于图深度学习的微服务异常检测方法DeepTraLog，它结合了日志和跟踪信息，解决了现有方法在处理复杂服务间交互和并行请求的问题。通过TEG图表示和深度SVDD-GGNN模型，实现实时无标签异常检测。
摘要由CSDN通过智能技术生成

DeepTraLog: Trace-Log Combined Microservice AnomalyDetection through Graph-based Deep Learning
DeepTraLog: 基于图的深度学习的Trace-Log组合微服务异常检测

www.fireknight.tech 个人博客，欢迎访问，CSDN不定期更新

  • 总结

    • 提出log和trace的混合服务异常检测方法

    • 基于图深度学习，不需要预训练模型，线上分类检测异常

    • 解决两个痛点

      • 基于log的异常检测：现有的日志异常检测方法将日志视为事件序列，无法处理分布在具有复杂交互的大量服务中的微服务日志。（事件只针对于当前服务，没有上下调用关联）
      • 基于trace的异常检测：忽略了由调用层次结构和并行/异步调用带来的复杂的结构。（主要还是对并行请求的处理）

    • 提出DeepTraLog: 一种基于深度学习的微服务异常检测方法。DeepTraLog使用统一的图表示来描述跟踪的复杂结构，同时结构中嵌入日志事件。结合trace和log训练GGNNs(基于deep SVDD)模型

  • 摘要

    • 基于log和基于trace的问题
    • 介绍DeepTraLog

  • Intro

    • 基于trace的异常检测: 没有处理并行，以及log中的信息

    • 基于log的异常检测：使用日志+时间戳为每个节点日志排序，但缺乏调用链组成信息（不认同，带traceId即可）

    • 提出DeepTraLog

      • 使用一种统一的图表示，称为跟踪事件图(trace event graph, TEG)，来描述跟踪的复杂结构，以及该结构中嵌入的日志事件。

      • 它以轨迹和日志作为输入，训练基于图的深度学习模型用于轨迹异常检测

      • 过程

        • 首先，它解析输入跟踪和日志，并分别从中提span关系和日志事件。
        • 其次，它为span事件和log事件生成向量表示，同时为每个trace构造一个TEG。
        • 第三，它训练一个门控图神经网络(ggnn)基于深度SVDD(支持向量数据描述)模型，学习每个TEG的潜在表示和最小化的数据封闭超球。
        • 当用于异常检测时，DeepTraLog以类似的方式分析跟踪和相关日志，并使用训练过的模型生成跟踪的潜在表示。然后，它根据其异常分数(即从迹的潜在表示到超球的最短距离)确定迹是否异常。
        • 注意：不依赖于标签，实时训练

    • 贡献：

      • 一个统一的结合trace和log的图表示
      • 一个基于deep SVDD的GGNNS模型用来异常检测

  • 背景

    • 日志：日志消息是一个非结构化的句子，它包含一个固定的部分。注意：有固定的结构

      • 在这里插入图片描述

      • log问题（同上）

      • trace问题（同上）

  • APPROACH

    1. Log Parsin：log日志转化为事件

      • 日志解析，日志中附加traceID和spanID
      • 使用Drain算法(在线日志解析，讲原本结构转化为目标结构

    2. Trace Parsing：trace解析为span，同时解析为同步和异步

      • 同步：clent/server
      • 异步：生产者/消费者
      • 一个span，涉及父span的调用、接收。子span的调用接收，共四个事件

    3. Event Embedding：事件嵌入

      1. log日志预处理，删除动词、单复数变幻
      2. 词向量化为, 每个词生成300维的向量(已有算法)
      3. 句子向量化, 为每个词生成权重。句子被向量化为权重的和，再归一化
        在这里插入图片描述

    4. Graph Construction：图构建

      • 事件关系：同步请求、同步响应、异步请求
      1. 日志事件连接。对于span的每个范围，获取属于该范围的所有日志事件。然后，根据时间戳对日志事件进行排序，并将每个日志事件的序列关系添加到与其相邻的日志事件(时间关系，非并行关系)
      2. log日志并入span event
      3. 关系处理：client的request和response的request添加同步关系

      在这里插入图片描述

    5. Model Training: 一分类问题

      • 深度SVDD通过包含数据潜在表示的最小化超球来学习训练数据的有用特征表示。因此，远离超球中心的数据可以被认为是反常的。
      • 因此，我们使用门控图神经网络(ggnn)学习跟踪表示，并使用深度奇异值映射(SVDD)联合训练ggnn。
      • 损失函数：最小化超球来包含TEGs的向量

    6. Anomaly Detection: 异常检测

      • 异常分数定义为TEG的潜表示到被学习的超球的最短距离

    在这里插入图片描述

FireKnight_
关注
专栏目录
技术分享｜基于图神经网络的微服务系统调用链和日志融合异常检测方法
pengxin_ce的博客
06-16 2037
基于图神经网络的微服务系统调用链和日志融合异常检测方法微服务系统运行时环境具有高度的复杂性和动态性，由此带来的各种问题导致微服务系统常常出现各种故障。为了尽早发现故障，快速准确的异常检测方法成为保证微服务系统可靠性的重要手段。为了提高微服务系统异常检测的准确率，复旦大学CodeWisdom团队提出一种基于图神经网络的微服务系统调用链和日志融合异常检测方法。该方法通过统一的...
CompGCN: Composition-based multi-relational graph convolutional network
W 的一些小感想
04-04 4691
1 前言 本文发表于ICLR 2020, 作者单位是印度科技学院，作者之一 Partha Talukdar 是我很早就开始关注的以为知识图谱方向的作者，在GNN趋势的引导下，作者也开始将研究中心转为知识图谱与GNN的结合。他的个人主页为 http://www.talukdar.net/， 下面给出了该作者在2019年发表的一些成果。本博客主要用于学术交流，属于原创，如有引用请注明。另：文中内容如...
论文阅读【异常检测】Trace-Log Combined Microservice Anomaly Detection through Graph-based Deep Learning
weixin_47082769的博客
06-05 1097
工业界的微服务系统通常是由几十到几千个服务运行在不同的机器上组成的大规模分布式系统。系统的异常往往可以体现在trace和log中，分别记录服务间的交互和服务内的行为。现有的跟踪异常检测方法将跟踪视为一系列服务调用。他们忽略了由其调用层次结构和并行/异步调用带来的跟踪的复杂结构。另一方面，现有的日志异常检测方法将日志视为一系列事件，无法处理分布在大量交互复杂的服务中的微服务日志。在本文中，我们提出了 DeepTraLog，一种基于深度学习的微服务异常检测方法。
Trace链异常检测汇总
Mark_Australia的博客
04-05 1113
trace异常检测
TraceRCA：通过Trace Analysis进行微服务系统的根因定位
AI蜗牛车
12-06 247
前言之前有一点时间对traceRCA比较感兴趣，读了几篇论文，今天突然发现自己的笔记里还有一篇写好笔记。但是没有整理的文章，直接发一下。查了一下，现在代码已经开源了code：https://github.com/NetManAIOps/TraceRCApaper：https://netman.aiops.org/wp-content/uploads/2021/05/1570705191.pdf一...
[论文解读 CCS 17] DeepLog Anamaly Detection and Diagnosis from System Logs through Deep Learning
Ray的博客
01-12 2523
论文题目：DeepLog Anamaly Detection and Diagnosis from System Logs through Deep Learning 论文来源：CCS 2017 (Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communication Security) 论文链接：https://doi.org/10.1145/3133956.3134015 关键词：异常检测；深度学习；日志分析 0 摘要 系.
dlog:分布式日志系统
03-11
dlog分布式日志系统 ##支持以下特性1.动态修改日志等级[网络或远程登录] 2.日志远程实时输出3.日志集中搜集4.支持全文检索，以及基于日志的用户行为分析5.对java应用不侵入，只需6.支持收集常用服务的日志
论文阅读：Spatial-Temporal Transformer for Dynamic Scene Graph Generation
wawaqing2333的博客
12-08 3708
论文阅读：Spatial-Temporal Transformer for Dynamic Scene Graph Generation 论文地址：https://arxiv.org/abs/2107.12309 github地址：https://github.com/yrcong/sttran SSTran是一种可以利用时空上下文的Transformer (STTran: Spatial-Temporal Transformer)来生成动态场景图 (Dynamic Scene Graph). 主要贡献
GNN:Session-based Recommendation with Graph Neural Networks简介
loserChen的博客
03-17 5313
Session-based Recommendation with Graph Neural Networks 摘要 作者提出SR-GNN,将session序列建模为图结构数据。在session图的基础上，GNN可以捕捉到items的复杂转换。每一个session利用注意力机制将整体偏好与当前偏好结合进行表示。 介绍 作者diss了 基于马尔可夫链的工作非常依赖数据独立性的假设的。 利用RNN的...
科研学习|论文解读——Deep learning for anomaly detection in log data: a survey
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
11-29 1595
科研学习|论文解读——Deep learning for anomaly detection in log data: a survey
AIOps：异常检测根因定位——TraceRCA 论文及代码
weixin_42423653的博客
05-13 3695
TraceRCA论文解读及代码复现
基于深度学习的日志数据异常检测
热门推荐
王清欢的博客
12-27 2万+
基于日志数据的异常检测 数据对象 智能运维(AIOps)是通过机器学习等算法分析来自于多种运维工具和设备的大规模数据。智能运维的分析数据对象多源运维数据包括系统运行时数据和历史记录数据，历史记录数据主要包含表单和系统更新文档等。与历史记录数据相比，系统运行时数据能够反映系统的动态特征及系统发生故障时的上下文信息，对未知故障具有更好的探测和表达能力。 系统运行时数据主要包含监控数据和日志数据，监控数据记录的是指系统运行状态下的资源占用情况，如中央处理器使用率、内存使用率、网络流量、进程数目以及进程资源使
DeepLog：通过深度学习从系统日志中检测和诊断异常
qq_43699776的博客
05-07 1750
1.引言 挑战 我们的贡献 2.预备知识 2.1日志分析器 2.2DeepLog体系结构和概述 训练阶段 检测阶段 2.3攻击模型 3.异常检测 3.1执行路径异常 3.1.1传统N-gram模型 3.1.2LSTM模型 3.2参数值和性能异常 基线方法 我们的方法 3.3在线更新异常检测模型 4.基于多任务执行的工作流构建 4.1从多个任务中分离日志条目 4.2使用DeepLog的异常检测模型 4.2.1日志键分离 4.2.2建立一个工作流模型 4.3使用基于密度的聚类方法 4.4使用工作流模型 4.4
基于深度模型的日志序列异常检测
王清欢的博客
04-23 1万+
基于序列的深度模型日志异常检测 ​ 日志异常检测的核心是利用人工智能算法自动分析系统日志来发现并定位故障。根据送入检测模型的数据格式，日志异常检测算法模型分为序列模型和频率模型，其中序列模型又可以分为深度模型和聚类模型。自 2017 年 Min Du 等人提出 DeepLog 以来，基于序列的深度学习建模逐渐成为近年来研究的热点。 深度模型的日志异常检测基本流程 ​ 深度学习使用神经网络的多层体系结构，从原始输入中逐步提取特征，不同的层处理不同级别的特征抽象。由于神经网络在复杂关系建模方面表现出了卓越的能力
Deep Log
ys2899的博客
09-26 3754
我们先解析出非结构化的，文本性的数据在时间伤的铺陈，但我们可以学习到 一个sequential模型在一个结构化的数据。按照个人的理解，就是打印日志内容和 打印的 k string， 例如 print(‘It took %s seconds to finish this process.’%(time_0 - time_1)). 这些日志打印很大程度上反映了系统的状态。 这里值得注意的是，某些值反映了一个执行序列，譬如说，在HDFS重的block_id或者是在OpenStack重的instance_id. D
【异常检测第一篇】DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning
AI蜗牛车
08-22 9080
前言异常检测也属于时间序列问题的一个大分支，记下来一段时间我也会定期分享一些这方面的内容，结合很多ML,DL知识的异常检测和诊断问题，我们一起努力！笔记很长，请细心阅读~一、 Addre...
推荐系统 - SR GNN架构详解（包含图神经网络GNN和门控图神经网络GGNN的介绍）
马飞飞的博客
08-18 2万+
说明 1.SR-GNN是中科院提出的一种基于会话序列建模的推荐系统，这里所谓的会话是指用户的交互过程（每个会话表示一次用户行为和对应的服务，所以每个用户记录都会构建成一张图），这里说的会话序列应该是专门表示一个用户过往一段时间的交互序列。基于会话的推荐是现在比较常用的一种推荐方式，比较常用的会话推荐包括循环神经网络、马尔科夫链。但是这些常用的会话推荐方式有以下的两个缺点： ...
深度学习之循环神经网络(RNN)
最新发布
weixin_43775295的博客
11-12 661
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值