KPI自动化异常检测系统——Opprentice

最新推荐文章于 2022-11-30 22:58:45 发布
最新推荐文章于 2022-11-30 22:58:45 发布
阅读量2.5k 收藏 3
点赞数 2
分类专栏： AIops 文章标签： 异常检测 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34219959/article/details/102858629
版权

论文：Opprentice: Towards Practical and Automatic Anomaly Detection Through Machine Learning

文章目录

问题

  • KPI类型很多，没有万能的检测器，需要为不同类型的KPI选择合适的异常检测器和合适的参数
  • 算法人员没有运维知识，运维人员不懂算法，所以要尽可能全自动化

在这里插入图片描述

设计思想

  • 运维人员标注异常
  • Opprentice使用十几种不同的检测器提取上百个异常特征，然后将异常检测问题转化为机器学习中的有监督分类问题

算法细节

  1. 离线训练分类器
  • 开发异常标注工具，快速标注异常
  • 提取上百个特征（很多冗余），集成学习（随机森林）训练分类器
  1. 在线监测
  • 新数据点的特征提取
  • 用训练好的模型得出结果
    备注：因为可能有新的异常case，所以要定期更新训练模型

在这里插入图片描述

iwtbs_kevin
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AIOps探索：基于VAE模型的周期性KPI异常检测方法——VAE异常检测
weixin_33923762的博客
10-25 3244
AIOps探索：基于VAE模型的周期性KPI异常检测方法 from:jinjinlin.com   作者：林锦进 前言 在智能运维领域中，由于缺少异常样本，有监督方法的使用场景受限。因此，如何利用无监督方法对海量KPI进行异常检测是我们在智能运维领域探索的方向之一。最近学习了清华裴丹团队发表在WWW 2018会议上提出利用VAE模型进行周期性KPI无监督异常检测的论文：《Un...
Opprentice：通过机器学习实现实用和自动的异常检测
04-08
Opprentice：通过机器学习实现实用和自动的异常检测
KPI异常检测
csdn_ggboy的博客
12-24 1266
异常：预期值与真实值有很大的差异 统计的方法 3-sigma 刻画异常的程度，数据需要接近高斯分布，如果不是可以通过高斯分布或者tan变换。可以先看一下数据分布图，看一下数据的分布情况 box-plot方法 提出异常点的影响 最大值、最小值、中位数和两个四分位数 时间序列分析的方法 数据的波动与人的行为直接相关，是一个时序的。 主要结构：周期性，趋势性，误差、随机扰动 机器学习方法 回归预测、提取特征 监督学习和无监督学习 模式匹配 iforest、rrcf、gmm、maf 直接检测 根据指标历史的波动数据
基于机器学习的KPI自动化异常检测（裴丹）
诗筱涵的博客
06-09 1017
可以看到确实就是用的随机森林。
说实话光一个KPI异常检测问题就让我接触了非常多的机器学习算法了。
诗筱涵的博客
06-10 349
说实话光一个异常检测问题就让我接触了非常多的机器学习算法了，我感觉由一个问题深入感觉还是不错的。你再去系统地学机器学习也会轻松很多。 有一个落地场景感觉也是不错的。 LSTM 决策树 随机森林 变分自编码器 本身机器学习方法就那么几个，很大一部分你都涉及了。 ...
KPI异常检测资料汇总
酒酿小圆子呀～
11-19 2099
参考博客: AIOps探索：基于VAE模型的周期性KPI异常检测方法: https://www.cnblogs.com/bonelee/p/9848559.html 《异常检测——从经典算法到深度学习》8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测: https://blog.csdn.net/smileyan9/article/details/112307506 .........
基于AIOps的KPI异常检测.zip
最新发布
04-12
本项目聚焦于AIOps的一个重要应用场景——KPI（Key Performance Indicator）异常检测，通过运用机器学习和深度学习算法，实时或定时监控系统的关键性能指标，提前预警可能出现的问题，从而降低故障率，保障业务连续...
针对大规模异常检测的KPI的鲁棒快速聚类
05-19
在当今互联网公司运营中，关键绩效指标（KPI）的监控和异常检测是确保服务质量和可靠性的重要组成部分。互联网服务公司，例如在线购物、社交网络、搜索引擎等，需要监控成千上万的KPI以保持其应用程序和系统的稳定。...
智能运维中KPI异常检测的研究进展.docx
06-02
"智能运维中KPI异常检测的研究进展" 智能运维是近年来逐渐兴起的一种新型运维方式，以机器学习、深度学习等技术为基础，将人工智能技术应用于IT业务的监控和管理中，以提高运维效率和自动化水平。KPI异常检测是智能...
快速部署大量新兴KPI流的异常检测模型
03-07
传统的异常检测方法往往需要针对每个新的KPI流进行大量的定制化工作，包括选择合适的算法、调整参数和进行新的异常标记等。这些工作通常需要数据科学家或相关专业人员的介入，不仅耗时而且成本高昂。 ADS框架的提出...
裴丹论文及相关参考之Opprentice
10-10
本文是智能运维方向论文中较早而且较有影响力的一片文章，首次提出使用机器学习的方法来帮助运维人员自动配置异常检测器，并且取得的较好的性能，虽然有监督的方式仍具有局限性，并且最终的性能指标并不是很高，但Opprentice系统的提出仍然为实际运维中异常检测的工作有很大借鉴价值，在此，简单的对该文章进行翻译，对于和我一样英语水平不高的同学，可以快速浏览一下，了解文章的主要思想和大致路线，以提高读文章的速度。 原本想复现一下，后来看到裴丹老师的一些新论文中，已经找到了更好的解决方式，而且有一篇WWW2018的文章还有代码，准备先看新文章了，GITHUB上有这篇文章的部分代码重现，可在文末参考资料中点击链接进入，如果有完整重现，请联系我分享一下。
可视化 KPI Indicator：趋势和颜色警示
PowerPivotShop的博客
04-01 1142
今天和大家分享一个带有颜色警示功能、趋势图和偏差值的关键绩效指标可视化视觉：KPI Indicator。这款简单高效的可视化很适用于目标与当前实际完成情况场景的分析。先看下直接出图的效果： 展示出上图效果内容可视化默认为在年度范围内最后一个月份的销售金额、目标偏差和月度折线图（设置中还可以选择平均值、合计值），需数据值为实际值、目标值、趋势轴。 当我们加入实际值“Actual value”、...
5G核心网KPI异常检测方案开源
whoami_zy的博客
06-20 989
【赛题背景】 核心网在整个移动运营商网络中占据着举足轻重的地位，一旦故障，会对全网的服务质量影响很大。需要及时快速发现核心网的风险，在影响范围扩大之前及时消除故障。 关键性能指标（KPI），反应了网络性能和质量。对KPI进行检测，能够及时发现网络质量劣化风险。主办方将在比赛中提供某运营商的KPI真实数据，采样间隔为5分钟。参赛选手需要根据历史一个月异常标签数据（训练数据集），训练模型并检测后续一周内各KPI（测试数据集）中的异常。 【赛题要求】 参赛选手通过训练数据集中...
《异常检测——从经典算法到深度学习》12 对于复杂 KPI 基于VAE对抗训练的非监督异常检测
Smileyan's blog
05-04 9739
《异常检测——从经典算法到深度学习》 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测算法 5 Opprentice——异常检测经典算法最终篇 6 基于重构概率的 VAE 异常检测 7 基于条件VAE异常检测 8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测 9 异常检测资料汇总（持续更新&抛砖引玉） 10 基于条件 VAE 的鲁棒无监督KPI异常检测 11 针对
《异常检测——从经典算法到深度学习》20 HotSpot：多维特征 Additive KPI 的异常定位
Smileyan's blog
11-30 9956
异常检测，异常的根因定位
基于机器学习的KPI异常检测（当初的讲课课件）
诗筱涵的博客
05-27 485
基于机器学习的KPI异常检测（当初的讲课课件）
KPI异常检测【一】- 时间序列分解算法
Rnan_prince的博客
05-31 4833
1、相关概念 1.1 异常 时序异常检测通常形式化为根据某种标准或正常信号寻找离群数据点。有很多异常类型，但本文只关注那些从商业角度来说最重要的类型，包括意料之外的峰谷、趋势变动、水平变化（level shift）。 数学上表示为： |预测值-真实值| > 阈值 1.2 时间序列 时间序列又称时间数列或动态数列，是按照时问的先后顺序排列的某一现象的一系列观测值。 1.2.1 组成 (1)现象所属的时间； (2)现象在不同时间上的观测值。现象在不同时间上的观测值的表现形式，有绝对数
KPI异常检测【三】- 机器学习算法
Rnan_prince的博客
06-17 5014
1、相关概念 1.1 异常类型 https://zhuanlan.zhihu.com/p/67396219 1.2 检测方法 https://www.cnblogs.com/rnanprince/articles/10790313.html 标记(labels)：有监督，半监督，无监督 样本类型 困难 有监督 平衡 样本极度不平衡时，训练难；人工标记难 半监督 极度平衡 可能无异常样本 无监督 无标签 有强假设关系，检测存在偏差 .
异常检测——深度学习异常检测经典算法最终篇
SL_World的博客
12-07 3626
本文转载自：https://blog.csdn.net/smileyan9/article/details/106587227/ 《异常检测——从经典算法到深度学习》 0 概论1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法3 基于One-Class SVM的异常检测算法4 基于高斯概率密度异常检测算法5 Opprent
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值