B. 智能运维 --- 成本优化 --- 容量规划 --- 案例

B. 智能运维 --- 成本优化 --- 容量规划 --- 案例 AIOps新应用:为大数据批处理任务配置最佳云资源 项目背景 运行在云上的大数据分析任务变得越来越重要。现有的大数据分析技术包括map-reduce、SQL式查询语言、深度学习。这些大数据分析应用需要相似的计算结构,即V...

2019-04-22 01:03:01

阅读数 161

评论数 0

A. 运维体系:SRE/CRE

A. 运维体系:SRE/CRE 体系 核心:应用 标准化 核心 识别对象 识别对象属性 识别对象关系 识别对象场景 基础设施标准化 识别实体对象 主要有服务器、网络、IDC、机柜、存储、配件等 识别对象的属性 ...

2019-04-22 01:02:29

阅读数 209

评论数 0

A. 智能运维纲要

A. 智能运维纲要 概述 优势 大量的数据 具体的业务场景 条件 行业领域知识 算法知识:三个层面 独立模块 需要依赖于其他算法的 系统性问题 运维场景领域知识 工程挑战 没有高质量的标签数据 历史 手工运维 ...

2019-04-22 01:01:47

阅读数 1469

评论数 3

B. 智能运维 --- 成本优化 --- 容量规划

B. 智能运维 --- 成本优化 --- 容量规划 概述 核心:成本和性能 作用 判断现有系统规模还可以再承载多少流量 对于新增的流量,采购设备时给予指导,花最少的钱办同样的事 流量切换时可以量化 优化服务规模 目标 节省成本 节省人力 前提条...

2019-04-21 22:34:16

阅读数 158

评论数 0

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常定位

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常定位 瓶颈分析 --- 决策树 目标:找出哪些因素的影响会导致搜索响应时间大于1秒钟 解决方案 首先FOCUS使用系统每天产生的日志数据来训练决策树,从决策树中可以分析得到引发高搜索响应时间(HSRT)的条件,由于...

2019-04-21 22:26:04

阅读数 186

评论数 0

B. 智能运维 --- 质量保障 --- 异常检测 --- 日志分析

B. 智能运维 --- 质量保障 --- 异常检测 --- 日志分析 概述 难点 非结构化日志 时效性 异常类型多 解决方案1 日志模板提取 FT-tree 核心思想:系统日志消息中详细信息字段的子类型通常是频繁出现的单词的最长组合。 步骤 ...

2019-04-21 22:19:57

阅读数 255

评论数 0

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常检测

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常检测 概述 核心思想 核心指标:高准召率,基于标注训练或者人工精细化调参 非核心指标:低成本接入,中准召率,无标注训练,冷启动,基于反馈自动调整 阈值设置手段 人工设置 维护成本高 需要...

2019-04-21 22:13:01

阅读数 194

评论数 6

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常检测 --- 框架

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标异常检测 --- 框架 雅虎遗作:异常检测框架(EGADS) 业务场景 系统指标:系统指标可以反映硬件的健康情况。比如CPU利用率,硬盘空间,网络端口状态,内存使用情况等等。 商业指标:这些指标可以帮助公司快速的发现...

2019-04-21 19:10:58

阅读数 131

评论数 0

B. 智能运维 --- 质量保障 --- 根因分析

B. 智能运维 --- 质量保障 --- 根因分析 机器学习定位故障责任部门 --- 微软NetPoirot 特点 轻量级的持续监控:仅需收集TCP的数据,避免收集整个系统海量的日志(SNMP,网络拓扑,性能指标,程序日志等)。 准确的机器学习分类:利用决策树/随机森林来实现自动...

2019-04-21 19:04:22

阅读数 580

评论数 0

B. 智能运维 --- 质量保障 --- 故障预测

B. 智能运维 --- 质量保障 --- 故障预测 基于机器学习的磁盘故障预测 复杂度 不是所有的SMART属性都与磁盘故障相关 磁盘故障数据高度不平衡 不同类型的磁盘SMART存在差异 解决方案 选择SMART属性。使用突变点(changepoint)检测的方法...

2019-04-21 19:01:18

阅读数 465

评论数 0

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标聚类

B. 智能运维 --- 质量保障 --- 异常检测 --- 指标聚类 微软亚研院的AIOps底层算法: KPI快速聚类 复杂度分析 时序数据数量大、维度高。运维中的时序数据集通常具有大量实例(如数百万个),每个实例具有较高维度(如数千维),难以使用传统的聚类方法进行快速聚类。 时...

2019-04-21 18:54:11

阅读数 312

评论数 0

B. 智能运维 --- 质量保障 --- 用户体验 --- 指标分析

B. 智能运维 — 质量保障 — 用户体验 — 指标分析 B. 智能运维 — 质量保障 — 用户体验 — 指标分析 视频分析 — 相关系数/信息论 数据采集 客户端:客户端采集 数据规模:超过100万的用户,200万次的观看,以及主流的内容生产商 分析维度 指标类型 视频加载时间(Join ti...

2019-04-21 18:35:33

阅读数 301

评论数 0

[图论]Bright Network Hub(最短路+动态规划)

Bright Network Hub Time Limit:5s Memory limit:32M Accepted Submit:61 Total Submit:255 Microhard company has just invented a brandly new sp...

2019-04-11 21:55:40

阅读数 35

评论数 0

提示
确定要删除当前文章?
取消 删除