openGauss数据库源码解析系列文章—— AI技术之“指标采集、预测与异常检测”_opengauss transformoperatorplus解析

用户操作数据库的某些行为或某些正在运行的业务发生了变化，都可能会导致数据库产生异常，如果不及时发现并处理这些异常，可能会导致严重的后果。通常，数据库监控指标（metric，如CPU使用率、QPS等）能够反映出数据库系统的健康状况。通过对数据库指标进行监控，分析指标数据特征或变化趋势等信息，可及时发现数据库异常状况，并及时将告警信息推送给运维管理人员，从而避免造成损失。

8.5.2 实现原理

图8-14 Anomaly-Detection框架

指标采集、预测与异常检测是通过同一套系统实现的，在openGauss项目中名为Anomaly-Detection，它的结构如图8-14所示。该工具主要可以分为Agent和Detector两部分，其中Agent是数据库代理模块，负责收集数据库指标数据并将数据推送到Detector；Detector是数据库异常检测与分析模块，该模块主要有三个作用。
（1） 收集Agent端采集的数据并进行转储。
（2） 对收集到的数据进行特征分析与异常检测。
（3） 将检测出来的异常信息推送给运维管理人员。

1. Agent模块的组成

Agent模块负责采集并发送指标数据，该模块由DBSource、MemoryChannel、HttpSink三个子模块组成。
（1） DBSource作为数据源，负责定期去收集数据库指标数据并将数据发送到数据通道MemoryChannel中。
（2） MemoryChannel是内存数据通道，本质是一个FIFO队列，用于数据缓存。HttpSink组件消费MemoryChannel中的数据，为了防止MemoryChannel中的数据过多导致OOM（out of Memory，内存溢出），设置了容量上限，当超过容量上限时，过多的元素会被禁止放入队列中。
（3） HttpSink是数据汇聚点，该模块定期从MemoryChannel中获取数据，并以Http(s)的方式将数据进行转发，数据读取之后从MemoryChannel中清除。

2. Detector 模块组成

Detector模块负责数据检测，该模块由Server、Monitor两个子模块组成。
（1） Server是一个Web服务，为Agent采集到的数据提供接收接口，并将数据存储到本地数据库内部，为了避免数据增多导致数据库占用太多的资源，我们将数据库中的每个表都设置了行数上限。
（2） Monitor模块包含时序预测和异