金仓数据库KMonitor使用指南--2. 监控指标

2.1. 指标定义

仪表板	指标名称
KingbaseES概览	服务器运行 数据库运行 CPU核数 内存 CPU iowait 文件描述符 剩余节点数 流复制滞后时长 数据库状态 CPU使用率 内存使用率 交换分区使用率 分区可用空间 / 总空间 分区可用空间 / 可用空间 分区可用空间 / 磁盘使用率 每小时流量监控 / 下载 每小时流量监控 / 上传 整体总负载与整体平均CPU使用率 / 总5分钟负载 整体总内存与整体平均内存使用率 / 已用内存 整体总磁盘与整体平均磁盘使用率 / 磁盘空间 整体总磁盘与整体平均磁盘使用率 / 已用磁盘空间 整体总磁盘与整体平均磁盘使用率 / 磁盘占用率 QPS & TPS / 查询 QPS & TPS / 事务 每分钟DML语句影响行数 / 查询返回 每分钟DML语句影响行数 / 查询取出 每分钟DML语句影响行数 / 查询插入 每分钟DML语句影响行数 / 查询更新 每分钟DML语句影响行数 / 查询删除 存储空间 会话连接 / 最大连接数 会话连接 / 会话连接数
KingbaseES查询	响应时间抖动最严重语句 平均查询时间最慢语句 最小查询时间最慢语句 最大查询时间最慢语句 累计查询时间最慢语句 累计最消耗I/O语句 最耗费共享内存语句 最耗费共享内存I/O语句 最耗费本地内存语句 最耗费本地内存I/O语句 最耗费临时内存语句
KingbaseES性能	用户密码有效期 事务号使用统计 数据库后端连接数 会话最大连接数 写进程缓冲区数量 WAL成功归档统计 表占用页数前五统计 索引占用页数前五统计 存储空间统计 锁信息 用户表模式读取磁盘统计 用户表模式命中缓冲区统计 用户TOAST表模式读取磁盘统计 用户TOAST表模式命中缓冲区统计 用户索引模式读取磁盘统计 用户索引模式命中缓冲区统计 用户TOAST索引模式读取磁盘统计 用户TOAST索引模式命中缓冲区统计 系统表模式读取磁盘统计 系统表模式命中缓冲区统计 系统TOAST表模式读取磁盘统计 系统TOAST表模式命中缓冲区统计 系统索引模式读取磁盘统计 系统索引模式命中缓冲区统计 系统TOAST索引模式读取磁盘统计 系统TOAST索引模式命中缓冲区统计 用户索引扫描统计 系统索引扫描统计 表空间被删掉取消查询数 锁超时取消查询数 旧快照取消查询数 缓冲区被占用取消查询数 死锁取消查询数 用户序列读取磁盘I/O统计 用户序列缓冲命中I/O统计 系统序列读取磁盘I/O统计 系统序列缓冲命中I/O统计 每分钟函数调用统计 每分钟函数调用时间(包括递归)统计 每分钟函数调用时间(不包括递归)统计 事务每分钟函数调用统计 事务每分钟函数调用时间(包括递归)统计 事务每分钟函数调用时间(不包括递归)统计 用户表发起顺序扫描统计 用户表顺序扫描行数统计 用户表发起索引扫描统计 用户表索引扫描行数统计 系统表发起顺序扫描统计 系统表顺序扫描行数统计 系统表发起索引扫描统计 系统表索引扫描行数统计
KingbaseES资源	CPU系统使用率 CPU用户使用率 CPU磁盘IO使用率 CPU总使用率 总内存 已用内存 可用内存 内存使用率 每秒网络带宽上传 每秒网络带宽下载 系统平均负载 1分钟 系统平均负载 5分钟 系统平均负载 15分钟 CPU核数 每秒磁盘读取容量 每秒磁盘写入容量 磁盘使用率 磁盘读取速率（IOPS） 磁盘写入速率（IOPS） 每1秒内I/O操作耗时占比 每次IO读取耗时 每次IO写入耗时 网络Socket连接信息 CurrEstab 网络Socket连接信息 Sockets_used 网络Socket连接信息 UDP_inuse 网络Socket连接信息 TCP_tw 网络Socket连接信息 TCP_alloc 网络Socket连接信息 Tcp_InSegs 网络Socket连接信息 Tcp_OutSegs 网络Socket连接信息 Tcp_RetransSegs 使用的文件描述符 每秒上下文切换次数

2.2. 指标告警推荐

KingbaseExporter探针运行状态告警

sum(up{job='kingbase_kes_exporter'}) by (cluster, address) != 1

NodeExporter探针运行状态告警

sum(up{job='kingbase_node_exporter'}) by (cluster, address) != 1

Kingbase服务器磁盘空间告警

100 - sum(node_filesystem_free_bytes{fstype=~'ext.*|xfs', mountpoint!~'.*pod.*'}) by (cluster, address, device) / sum(node_filesystem_size_bytes{fstype=~'ext.*|xfs', mountpoint!~'.*pod.*'}) by (cluster, address, device) * 100 >= 80

Kingbase服务器CPU使用率告警

100 - avg(rate(node_cpu_seconds_total{ mode='idle'}[5m])) by (cluster, address) * 100 >= 70

Kingbase服务器内存空间告警

100 - sum(node_memory_MemAvailable_bytes) by (cluster, address) / sum(node_memory_MemTotal_bytes) by (cluster, address)  * 100 >= 80

Kingbase数据库会话连接数使用率告警

count(kingbase_sys_stat_activity_seconds) by (cluster, address) / sum(kingbase_max_connections_total) by (cluster, address)  * 100 >= 90

Kingbase数据库会话连接数告警

count(kingbase_sys_stat_activity_info{state='active'}) by (cluster, address) >= count(node_cpu_seconds_total{mode='system'}) by (cluster, address) * 5

Kingbase数据库用户密码有效期告警

sum(kingbase_sys_user_seconds) by (cluster, address, usename) <= 15 * 86400 and sum(kingbase_sys_user_seconds) by (cluster, address, usename) > 0

Kingbase数据库流复制发送延迟告警

sum(kingbase_sys_stat_replication_wal_lsn_diff_bytes{state='sent_delay'}) by (cluster, address) >= 128 * 1024

Kingbase数据库流复制写入延迟告警

sum(kingbase_sys_stat_replication_wal_lsn_diff_bytes{state='write_delay'}) by (cluster, address) >= 128 * 1024

Kingbase数据库流复制刷入延迟告警

sum(kingbase_sys_stat_replication_wal_lsn_diff_bytes{state='flush_delay'}) by (cluster, address) >= 128 * 1024

Kingbase数据库流复制同步延迟告警

sum(kingbase_sys_stat_replication_wal_lsn_diff_bytes{state='replay_delay'}) by (cluster, address) >= 128 * 1024

Kingbase服务器文件系统inode使用率告警

(sum(node_filesystem_files) by (cluster, address, device) - sum(node_filesystem_files_free) by (cluster, address, device)) / sum(node_filesystem_files) by (cluster, address, device) * 100 >= 80

Kingbase数据库lock锁等待数量告警

count(kingbase_sys_locks_info) by (cluster, address, datname) >= 200

Kingbase数据库年龄告警

sum(kingbase_sys_database_age_total) by (cluster, address, datname) >= 1573741824

Kingbase数据库复制延迟时间告警

sum(kingbase_replication_delay_seconds) by (cluster, address) >= 5 * 60

Kingbase数据库实例运行状态告警

sum(kingbase_database_port_state_info) by (cluster, address) != 1

Kingbase数据库事务持续时间告警

max(kingbase_sys_stat_activity_seconds{state='active'}) by (cluster, address) >= 10 * 60