zabbix使用自动发现对pg的复制槽进行状态监控

于 2024-08-12 08:36:19 发布
阅读量363 收藏 6
点赞数 11
分类专栏： zabbix 监控 postgresql 文章标签： zabbix postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SMRshy/article/details/141104922
版权
zabbix 同时被 3 个专栏收录
9 篇文章 0 订阅
订阅专栏
监控
9 篇文章 0 订阅
订阅专栏
postgresql
7 篇文章 0 订阅
订阅专栏

zabbix使用自动发现对pgsql的复制槽进行状态监控

环境介绍：

本例中安装zabbix开源软件和postgres，软件版本信息如下：

软件版本
zabbixZabbix6.4.0
zabbix-server上postgres14.7
zabbix-agent6.4.17
zabbix-agent上postgres16.3

主机信息如下：

Red Hat Enterprise Linux Server 7.9 (Maipo)
主机名主机地址用途
zib_server192.168.101.238zabbix的服务器地址
pgsql_master192.168.101.232pgsql的主服务器
pgsql_backup192.168.101.239pgsql的备服务器

1. 模版自动发现规则配置

点击数据采集 > 模版 > 创建模版，进入创建模版页面。如图所示。

模版配置如图所示。填写模版名称，选择模版所在的模版组。点击添加即可。

然后再次点击自己创建好的模版。

进入如下页面，点击自动发现规则 > 创建自动发现规则。进入自动发现规则创建页面。

进行自动发现规则的配置。其中与监听项配置相似。配置名称和类型，并且将键值配置好。完成之后点击添加即可。

在zabbix-agent客户端进行自定义键值配置。

在soltInfo.conf文件中。

UserParameter=soltInfo[*],"$1"/pgsql_soltInfo.sh "$2"

在pgsql_soltInfo.sh文件中。

#!/bin/bash
PGSHELL_ENV="$1"
source $PGSHELL_ENV/zabbix_shell.conf 
query="SELECT json_build_object(
    '{#SLOTNAME}', slot_name,
    'plugin', plugin,
    'database', database,
    'active', active
) FROM pg_replication_slots"

# 执行查询，并获取结果
slots=$($PSQL -t -c "${query}")

# 处理并格式化结果
# 1. 删除所有空白字符
# 2. 将多个 JSON 对象分隔符 { } 替换为 { },{ 
# 3. 在开始处添加 {"data":[ 
# 4. 在结束处添加 ]} 
formatted_slots=$(echo "$slots" | tr -d '[:space:]' | sed 's/}{/},{/g' | sed 's/^/{\"data\":[/' | sed 's/$/]}/')

# 如果查询结果为空，返回 {"data":[]}
if [[ -z "$slots" || "$slots" == "NULL" ]]; then
    formatted_slots="{\"data\":[]}"
fi

# 输出 JSON 格式的数据
echo "$formatted_slots"

测试如图所示。

获取到的JSON结果。

{
  "data": [
    {
      "{#SLOTNAME}": "pgbackup",
      "plugin": null,
      "database": null,
      "active": false
    },
    {
      "{#SLOTNAME}": "test_slot1",
      "plugin": null,
      "database": null,
      "active": true
    }
  ]
}

2. 创建监控项原型

创建自定义规则完成之后，点击创建好的自定义规则，再点击上方导航栏的监控项原型，再点击右上角的创建监控项原型，即可进入创建监控项原型的页面。

在这里提供两种思路，一个是使用服务器主动去执行客户端脚本来获取复制槽的信息。如下图所示。

在soltStatus.conf文件中。

UserParameter=soltStatus[*],"$1"/soltStatus.sh "$2" "$3"

在soltStatus.sh文件中。

#!/bin/bash
PGSHELL_CONFDIR="$1"
source $PGSHELL_CONFDIR/zabbix_shell.conf 

soltName="$2"
if [ -z "$soltName" ]; then
  soltName="pgbackup"
fi
query="SELECT active FROM pg_replication_slots where slot_name='${soltName}';"
	
# 执行查询，并获取结果
result=$($PSQL -t -c "${query}" | tr -d '[:space:]')
# 检查结果并输出状态
if [ "$result" == "t" ]; then
#    echo "Replication slot '$SLOT_NAME' is active."
	echo "T"
elif [ "$result" == "f" ]; then
#    echo "Replication slot '$SLOT_NAME' is inactive."
	echo "F"
else
#    echo "Unexpected result: $result"
	echo "F"
fi

另外一个是使用采集器服务器被动接收客户端主动发送的信息。如下图所示。

完成之后点击添加即可。

这两者选择的类型不同，前一个主动执行客户端的脚本获取数据，后一个让客户端自己本地定义一个定时任务执行脚本，向服务器发送数据即可。

3. 创建触发器类型

点击上方导航栏的触发器类型，然后点击右上角的创建触发器原型。进入创建触发器原型页面。如下图所示。

这里也展示了两种思路创建的触发器的创建，原理是基本一致的，只是配置方面有些许差异。

客户端被动触发器。

客户端主动触发器。

配置完成之后，点击添加即可。

4. 在主机上添加模版

点击监测 > 主机 > 对应主机 > 主机，进入配置模版页面。如下图所示。

在这个页面选择对应的模版，然后点击更新即可。如下图所示。

5. 对于客户端主动模式

对于客户端主动模式，因为是客户端主动去发送信息的，因此需要再客户端本地区执行一个定时任务来定时发送数据。

5.1 查看当前的定时任务

crontab -l

5.2 创建或者编辑crontab

sudo crontab -e
或者
crontab -e

5.3 添加定时任务

* * * * * /usr/local/zabbix/etc/shell_dict/slotShell.sh "/home/zabbix/zabbix_env"  >> /var/log/slotShell.log 2>&1

5.4 查看定时任务

crontab -l

[root@pgsql-master ~]# crontab -l
* * * * * /usr/local/zabbix/etc/shell_dict/slotShell.sh "/home/zabbix/zabbix_env"  >> /var/log/slotShell.log 2>&1

6. 查看最新数据和触发器是

查看最新数据。如下图所示。

结果如下图所示。

点击每个监控项，然后点击触发器，即可查看该监控项上的触发器。如下图所示。

在问题上也能查看报警的触发器。如下图所示。

7. 修改pg数据的复制槽状态

修改从库的配置文件。

primary_slot_name = 'pgbackup'
改为
primary_slot_name = 'test_slot1'

然后使用pg_ctl重启从库服务器。

pg_ctl restart

查看主动上的复制槽状态。

postgres=# SELECT * FROM pg_replication_slots;
 slot_name  | plugin | slot_type | datoid | database | temporary | active | active_pid | xmin | catalog_xmin | restart_lsn | confirmed_flush_lsn | wal_status | safe_
wal_size | two_phase | conflicting 
------------+--------+-----------+--------+----------+-----------+--------+------------+------+--------------+-------------+---------------------+------------+------
---------+-----------+-------------
 pgbackup   |        | physical  |        |          | f         | f      |            |  751 |              | 0/71B0530   |                     | reserved   |      
         | f         | 
 test_slot1 |        | physical  |        |          | f         | t      |       7628 |  751 |              | 0/71B0530   |                     | reserved   |      
         | f         | 
(2 rows)

在查看web网页上的数据是否更新。

附录一 crontab的使用

1. 介绍

crontab 是 Linux 和 Unix 系统中用于定时任务调度的工具。它允许用户在指定的时间或时间间隔自动执行脚本或命令。通过 crontab，你可以安排系统和用户级别的定时任务，从而实现自动化操作。详情请见crontab简单介绍.md文档。

2. 示例

每分钟执行一次脚本

* * * * * /path/to/your/script.sh

每天凌晨 2 点执行脚本

0 2 * * * /path/to/your/script.sh

每周一中午 12 点执行脚本

0 12 * * 1 /path/to/your/script.sh

每月 1 号凌晨 1 点执行脚本

0 1 1 * * /path/to/your/script.sh

3. 注意事项

  • 脚本权限: 确保脚本具有执行权限。可以使用 chmod +x /path/to/your/script.sh 来设置执行权限。

  • 绝对路径: 在 crontab 中使用绝对路径，避免路径问题。

  • 环境变量: crontab 任务在执行时不会加载用户的环境变量，可能需要在脚本中设置必要的环境变量。

  • 输出重定向: 将脚本的输出重定向到日志文件，以便调试。例如：

    0 2 * * * /path/to/your/script.sh >> /var/log/mycron.log 2>&1

附录二 主动模式和被动模式

1. zabbix主被动模式介绍

  • 被动模式：被动模式就是由zabbix server向zabbix agent发出指令获取数据， 即zabbixagent被动的去获取数据并返回给zabbix server， zabbix server周期性的向agent 索取数据， 这总模式的最大问题就是会加大zabbix server的工作量， 在数百台服务器的环境下zabbix server不能及时获取到最新数据， 但这也是默认的工作方式。
  • 主动模式是有zabbix agent主动采集数据并返回给zabbix server， 不再需要zabbix serve进行干预， 因此主动模式在一定程度上可减轻zabbix server的压力。

在优化zabbix的时候，主动模式优化后会大大减少zabbix server的压力

简而言之：被动模式就是zabbix-sevrer主动向zabbix-agent索要数据，好几千台服务器每次都要索要的话会非常的慢，从而影响监控值的刷新，主动模式就是zabbix-agent主动像zabbix-sever汇报数据，也就好比发了个通知，大家来这里集合一样，这样可以大大减轻zabbix server的压力

被动模式每次刷新监控项几乎都是一秒一个

zabbix监控主被动模式

  • 被动模式zabbix服务器从监控端拉数据，

  • 主动模式zabbix agent主动向服务器推数据。

  • zabbix监控默认为被动模式，zabbix agent被动的接受Zabbix Server的监控指令并返回数据。

  • zabbix主动模式为zabbix agent主动向zabbix Server发送请求拿来监控项并返回数据。

2. zabbix主被动模式详解

zabbix被动模式

  • zabbix agent被动的接受zabbix server周期性发送过来的数据收集指令。

在被动模式之下，zabbix server会根据主机关联的模板中的监控项和数据采集间隔时间，周期性的打开随机端口并向zabbix agent服务器的10050发起tcp连接，然后发送获取监控项数据的指令，即zabbix server发送什么指令那么zabbix agent就收集什么数据，zabbix server什么时候发送zabbix agent就什么时候采集，zabbix server不发送zabbix agent就一直不响应，所以zabbix agent也不用关心其监控项和数据采集周期间隔时间。

被动模式的优点就是配置简单，安装后即可使用，因此也成为zabbix 的默认工作模式。

但是被动模式的最大问题就是会加大zabbix server的工作量，在数百甚至数千台服务器的环境下会导致zabbix server需要轮训向每个zabbix agent发送数据采集指令，如果zabbix server负载很高还会导致不能及时获取到最新数据，但由于无需其他复杂配置，被设置为了默认的工作方式。

zabbix主动模式

  • 主动模式是由zabbix agent主动向zabbix server的10051端口发起tcp连接请求。

因此主动模式下必须在zabbixagent配置文件中指定zabbix server的IP或者主机名(必须可以被解析为IP地址)，在连接到zabbix server之前zabbix agent是不知道自己要采集那些数据以及间隔多久采集一次数据的，然后在连接到zabbix server以后获取到自己的监控项和数据采集间隔周期时间，然后再根据监控项采集数据并返回给zabbix server。

在主动模式下不再需要zabbix serve向zabbix agent发起连接请求，因此主动模式在一定程度上可减轻zabbix server打开的本地随机端口和进程数，在一定程度就减轻看zabbix server的压力。

问题情况

问题1

为什么在主机上配置自动发现可以拿到结果，但是在监控项原型里面创建不出新的对应监控项。

下面是对监控项原型的配置。

问题2（已解决）

在模版中定义自动发现规则是使用到了路径参数，但是却没有发现能通过跟主机一样通过宏定义来简化使用的方法。

方法一 在模版上定义宏

如图所示。

优点是可以在定义模版的时候查看宏的路径，可以进行测试的时候使用。

缺点是如果主机上定义了一样的名字会起冲突。

方法二 使用主机上定义宏

如图所示。

优点是方便在主机上使用，不会出现定义冲突。

缺点是不能在模版上进行测试。

在模版中定义自动发现规则是使用到了路径参数，但是却没有发现能通过跟主机一样通过宏定义来简化使用的方法。

方法一 在模版上定义宏

如图所示。

优点是可以在定义模版的时候查看宏的路径，可以进行测试的时候使用。

缺点是如果主机上定义了一样的名字会起冲突。

方法二 使用主机上定义宏

如图所示。

优点是方便在主机上使用，不会出现定义冲突。

缺点是不能在模版上进行测试。

零の守墓人
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zabbix redis监控自动发现
01-07
本文主要基于zabbix自动发现监控redis，redis指标主要通过 redis-cli info 命令采集，并使用zabbix-sender 将监控数据发送至zabbix-server。 环境描述 zabbix-server 4.0 zabbix-sender 4.0 python2.7 redis 5.0.5 ...
使用Python脚本zabbix自定义key监控oracle连接状态
09-09
这样，我们就成功地使用Python和Zabbix自定义key实现了对Oracle连接状态的实时监控。 总的来说，这个过程涉及到了Zabbix的自定义监控、Python脚本编程、Oracle数据库的连接以及告警触发机制。理解并掌握这些技术，...
zabbix-agent自定义配置监控项
SMRshy的博客
08-11 577
zabbix配置自定义监控项操作
3年部署3000套PG实例的架构设计与踩坑经验
一名数据库爱好者的专栏
06-29 673
https://mp.weixin.qq.com/s/fvAd5PdeDHCyC1mUXNKXhA 陈华军老师的博文，欢迎点击上面的原文地址。 作者介绍 陈华军 十年以上数据库相关工作经验。PostgreSQL中文社区核心组成员，主要负责PostgreSQL中文手册翻译项目的维护。 PostgreSQL作为一款许可开放，功能齐备的开源关系数据库，在当前提倡自主可控的大背景下，正受到越来越多企业的重视。苏宁从2017年开始引入PostgreSQL，到2019年双11前3年间已上线3000多PostgreSQL
oracle standby审计,监控oracle standby
weixin_39782752的博客
04-06 137
Oracle 12.2新特性掌上手册 - 第六卷 ADG的性能与诊断编辑手记:在Oracle 12.2中，ADG有许多惊人的改进，通过ADG standby数据库的性能数据收集和诊断、快照standby数据库的应用，以及实时的数据库操作监控的实现，能够根据用户需求相协调来提高DBA效率，从而为业务应用程序提供更好的服务质量。1、Oracle Data Guar...文章知与谁同2017-07-18...
年度盘点：20+主流数据库重大更新及技术要点回顾
杨建荣的学习笔记
01-01 3241
数据库行业年度回顾技术的多元化探索与产品的差异化发展2021年，各家数据库产品都取得了长足的进步。首先，从技术角度上看，分布式、云及云原生、多模、HTAP、AI自治等代表性技术，成为了各大...
【实践】基于Ceph打造高性能高可靠的分布式块存储系统
渡江客涂鸦板
09-28 1371
分布式存储有出色的性能，可以扛很多故障，能够轻松扩展，所以我们使用Ceph构建了高性能、高可靠的块存储系统，并使用它支撑公有云和托管云的云主机、云硬盘服务。 由于使用分布式块存储系统，避免了复制镜像的过程，所以云主机的创建时间可以缩短到10秒以内，而且云主机还能快速热迁移，方便了运维人员对物理服务器上硬件和软件的维护
打造高性能高可靠的 Ceph 块存储系统
渡江客涂鸦板
08-08 4114
块存储系统分布式存储有出色的性能，可以扛很多故障，能够轻松扩展，所以我们使用Ceph构建了高性能、高可靠的块存储系统，并使用它支撑公有云和托管云的云主机、云硬盘服务。由于使用分布式块存储系统，避免了复制镜像的过程，所以云主机的创建时间可以缩短到10秒以内，而且云主机还能快速热迁移，方便了运维人员对物理服务器上硬件和软件的维护。用户对于块存储系统最直观的感受来源于云硬盘服务，现在我们的云硬盘的特点是...
PostgreSQL
Luomu147的博客
03-07 942
特点PostgreSQLMySQLACID 兼容性非常好。对事务的支持非常强大，能够确保数据的完整性、一致性和持久性良好。MySQL 也支持事务，但 PostgreSQL 的实现更为严格数据类型支持支持丰富的数据类型，包括标准 SQL 类型以及额外的数据类型，如数组、JSON、XML、地理空间等数据类型支持相对较少，主要包括标准 SQL 类型，但 MySQL 也支持 JSON 类型等扩展性提供了丰富的扩展机制，用户可以通过编写插件或使用第三方扩展来扩展功能。
2024年第七周
m0_50742755的博客
06-02 808
Rocky8利用系统源安装安装启动查看日志提示做初始化 tail /var/log/messages ls /var/lib/pgsql/data初始化数据库设置开机自启动psql实例：一个PostgreSQL对应一个安装的数据目录$PGDATA，既一个instance实例；
7种数据库的分析
热门推荐
hzp666的博客
01-26 2万+
摘要： 数据库的七种武器，是我在工作维护和接触到的七种常用数据库，包括4种常用的关系型数据库，3种常用nosql数据库。 这些数据库作为业务底层的存储选型，每种数据库都有各自的定位和特点，结合业务，有各自的适用场景，在具体使用和运维时，也有一些特别的注意点。 数据库的七种武器，是我在工作维护和接触到的七种常用数据库，包括4种常用的关系型数据库，3种常用nosql数据库。 这些数据库作为业务
zabbix通过自动发现监控oracle的一键部署脚本
07-26
本文将详细探讨如何使用Zabbix通过自动发现功能监控Oracle的表空间，并介绍一个一键部署的shell脚本。 首先，我们需要理解Zabbix的自动发现功能。自动发现是Zabbix的一项强大特性，它允许系统自动发现网络中的新...
zabbix redis自动发现端口的脚本返回json格式
09-09
为了在Zabbix中实现对Redis实例的自动发现，我们需要编写一个脚本，这个脚本会在Zabbix Server上执行，用于查找运行在目标主机上的Redis服务的监听端口。以下是一个示例脚本： ```bash redisport=(`ps aux|grep -w ...
zabbix 端口自动发现 python2 python3
12-15
在Zabbix中，端口自动发现是一项重要功能，它允许系统自动识别并监控网络服务上的开放端口，从而及时了解服务的状态变化。本教程将详细讲解如何利用Python2和Python3编写脚本来实现Zabbix的端口自动发现功能，并在...
Ubuntu22.04安装Go语言的几种方式
ALONG的博客
07-25 1257
Go 推荐使用工作空间（workspace）的概念来组织代码。：Go 语言有许多有用的第三方工具，你可以使用它们来增强开发体验，例如。：安装完成后，你可以通过阅读官方文档、在线教程或书籍来学习 Go 语言。请注意，Go 语言的版本更新频繁，上述命令中使用的版本号（例如。建议访问 Go 官方网站下载最新版本。请检查 Go 官方网站以获取最新版本的下载链接。配置 Go 环境变量。这将把 Go 安装到。来创建一个工作空间。
情人节表白html代码.txt
最新发布
08-11
七夕情人节html代码
mediapipe-0.8.10.1-cp39-cp39-manylinux2014_x86_64.whl
08-11
mediapipe-0.8.10.1-cp39-cp39-manylinux2014_x86_64.whl
简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习
08-11
简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习 简历是展示个人经历、技能和能力的重要文档，以下是一个常见的简历格式和内容模板，供您参考： 简历格式： 头部信息：包括姓名、联系方式（电话号码、电子邮件等）、地址等个人基本信息。 求职目标（可选）：简短描述您的求职意向和目标。 教育背景：列出您的教育经历，包括学校名称、所学专业、就读时间等。 工作经验：按时间顺序列出您的工作经历，包括公司名称、职位、工作时间、工作职责和成就等。 技能和能力：列出您的专业技能、语言能力、计算机技能等与职位相关的能力。 实习经验/项目经验（可选）：如果您有相关实习或项目经验，可以列出相关信息。 获奖和荣誉（可选）：列出您在学术、工作或其他领域获得的奖项和荣誉。 自我评价（可选）：简要描述您的个人特点、能力和职业目标。 兴趣爱好（可选）：列出您的兴趣爱好，展示您的多样性和个人素质。 参考人（可选）：如果您有可提供推荐的人员，可以在简历中提供其联系信息。 简历内容模板： 姓名: 联系方式: 地址: 求职目标: （简短描述您的求职意
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值