探索可观测性:AIOps中的时序数据应用

01. 背景

随着科技的发展,时序数据在我们的认知中占据越来越多的位置,小到电子元件在每个时刻的状态,大到世界每天的新冠治愈人数,一切可观测,可度量,可统计的数据只要带上了时间这个重要的因素就会成为时序数据。在运维领域,时序数据的范围则缩小到软件系统及其关联事物上面。随着数字化,物联网,人工智能等新技术的蓬勃发展,时序数据在运维领域也产生了爆发的增长,那么,究竟什么是时序数据,时序数据在智能运维(AIOps)领域又能为人们带来哪些价值呢?本文将会围绕这两点进行阐述,并拓展介绍一些具体应用时序数据的算法。

02. 时序数据

(图片来源于网络)

1)定义

简单的说,时序数据就是一串按时间维度索引的数据。具体的说,时序数据描述了某个被测量的对象在每个时间点上的测量值,时间点之间的间隔如果保持不变,比如都是1分钟,那么可以说这个时序数据的时间粒度/时间间隔/频率为1分钟。

从上述对时序数据的具体描述来看,时序数据主要由三个部分组成:对象,时间点,测量值。而我们可以说,一切带有这三个部分的组合的描述,都可以称作时序数据。只要想一想,就会发现,这类组合无处不在:人体每分钟 的 心率cpu每秒 的 使用率网站每小时 的 访问量手机网络 每秒下载数据量……,下面我们对这三个部分进行进一步解释:

① 对象:即被测量的主体是什么,一个对象可以有多个维度的属性。以cpu对象为例,可以是A集群、B物理机、C虚拟机的cpu,那么A,B,C就是cpu对象的3个维度属性。

② 时间点:即对象被测量时的时间位置,一般用时间戳表示。比如上述cpu对象在2022年6月29日上午8点12分38秒(Unix时间戳为:1656461558)被测量了一次,那么这个时间就是时间点。

③ 测量值:一个对象可能有多个测量值,每个测量值都对应一种指标。仍以上面的cpu为例,我们可以测量它在对应时间点的使用率,也可以测量它在对应时间点的使用值

总的来说,每条时序数据都由对象、时间点、测量值三个部分组成,同一对象的时序数据记录了该对象在时间维度上的状态变化信息,对时序数据的分析就是挖掘时序数据蕴含的规律的过程。

2)特性

时序数据相较其他类型数据有一些显著特点:

  • 数据一定带有时间字段/索引
  • 数据按时间粒度稳定且持续的产生
  • 数据基本不会有更新操作
  • 一般而言数据会随着时间流逝而价值逐渐降低,具有时效性
  • 数据的处理必须结合时间属性

针对时序数据的特点,业界有很多时序数据库专门用来高效的存储时序数据,如Influxdb,Prometheus等。我们在分析及使用时序数据时也应充分考虑到以上特性。

03. AIOps中的时序数据

上面对什么是时序数据以及时序数据的特性做了介绍,接下来我们看下在AIOps领域,时序数据又有怎么样的应用。

1)来源

在运维领域,为了保障整个软件系统的正常运行,需要在系统的各个层次定义要观测的时序数据,即定义要监控的指标。一般地,成熟的监控指标体系的搭建是以CMDB为骨架,以监控指标为脉络而进行的。因此,在AIOps中,时序数据的表现为监控指标。下图展示了运维领域中监控指标的体系层次,这是运维中的另一个大领域。

2)在AIOps中的应用方向

指标(Metric),日志(Log),调用链(Trace)是运维领域中产生的较为普遍的三种数据类型,因此基于运维数据之上的AIOps对于指标数据的利用也非常广泛,下面对应用成熟度比较高的两个方向进行探讨:

  • 指标异常检测
  • 指标预测

① 指标异常检测

(图片来源于网络)

指标异常检测,即判断监控指标体系中的对象指标是否发生了异常情况的过程。如果把软件系统比作人体,那么运维对象指标就对应人体的心率,血压,血糖,视力,激素水平等生理指标(类似上图),运维监控工具则对应各类用于检测的医疗设备。

需要保证软件系统的正常运行,首先就需要将表征/反映其是否健康的指标监控起来,然后再用异常检测算法进行实时或准实时的判断,当出现异常情况时能通过告警工具及时通知运维人员进行进一步检查,以决定是否采取相关措施。就像电视剧里一样,病人生病了,各类仪器在实时监控着病人的情况,当发现监控指标出现异常,就需要及时通知医生查看情况。而在运维领域,为了保证软件系统的高可用性,在软件系统的全生命周期都需要配备监控,并设定异常检测算法(不管是简单的静态阈值还是复杂的算法策略)。

1. 异常的种类<

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值