zabbix服务器报警:Zabbix housekeeper processes more than 75% busy
原因分析说明:
https://www.cnblogs.com/kerrycode/p/13570463.html
处理方法:
vim /etc/zabbix/zabbix_server.conf
HousekeepingFrequency=12 #原值是每一小时清理一次,建议改为12或24小时清理一次。
MaxHousekeeperDelete=100000 #原值为每次清理5000条,建议改为上限100000条。
此外,另一种原因是由于历史数据占用过多导致,可通过查看zabbix数据库中各个表的大小
SELECT TABLE_SCHEMA, TABLE_NAME , DATA_LENGTH / 1024 / 1024 / 1024 AS DATA_SIZE_GB , INDEX_LENGTH / 1024 / 1024 / 1024 AS INDEX_SIZE_GB , (DATA_LENGTH + INDEX_LENGTH) / 1024 / 1024 / 1024 AS TABLE_SIZE_GB , TABLE_ROWS FROM INFORMATION_SCHEMA.TABLES WHERE table_schema = 'zabbix' ORDER BY TABLE_SIZE_GB ASC;
我们会发现 history_uint 表占用了34G 可以说是非常大了
解决方法:删除数据
当然如果是生产环境,不可能直接truncate ,历史数据还是对于排查问题还是有用的
网上的解决方案是:
MariaDB [zabbix]> delete from history_uint where clock < 1575167758;
ERROR 1206 (HY000): The total number of locks exceeds the lock table size
这样删除由于数据量特别大并且clock不是索引会特别慢,当然我执行的时候就报错如上:
根据上面引用的博客及对zabbix数据库各表之间的关系稍加分析,我们可以通过索引itemid 入手进行删除。这也是系统自动删除历史数据的方法,
我们会发现根据zabbix_server.conf 配置文件中的默认规则:默认一小时删除一次最早的5000条数据,
我们可以根据这条sql 稍加改进如下
delete from history_uint where itemid=46727 and clock < 1575167758
##删除itemid =46727 并且时间早于2019-12-01 10:35:58之前的历史数据
然后我们写个shell 脚本便于删除所有item在指定时间之前的历史数据
#!/bin/bash
Date=`date -d $(date -d "-90 day" +%Y%m%d) +%s`
mysql -uzabbix -pxasxaxasx zabbix -e "select itemid from items ;" > itemid
for itemid in `cat itemid`
do
mysql -uzabbix -pxasxaxasx zabbix -e 'delete from history_uint where itemid='${itemid}' and clock < '${Date}';'
mysql -uzabbix -pxasxaxasx zabbix -e 'delete from history where itemid='${itemid}' and clock < '${Date}';'
done