KingbaseES V8R2集群运维案例之---crond资源限制导致failover切换

案例说明:
KingbaseES V8R2集群主库kingbasecluster进程‘ping 网关’故障,导致failover切换,发现主库kingbasecluster进程fork子进程‘ping’故障,导致主库无法ping网关。

适用版本: KingbaseES V8R2

一、问题现象
主备发生failover切换,查看主库cluster.log日志,如下图故障:

集群通过ping网关地址判断集群网络的连通性,如上图所示,kingbasecluster fork ping子进程时失败,判断是主库主机内核资源限制所导致。

二、问题分析1、查看资源limit配置
如下图所示,系统主机内核资源limit配置,应该可以满足当前主机服务的需求:

2、查看cgroup下TasksMax限制
如下图所示,对systemd下的进程crond查看,有个‘Tasks: limit 512’的限制:

查看systemd配置文件:[kingbase@node102 kingbase]$ cat /etc/systemd/system.conf

systemd 也提供了一个基于 cgroup 的限制资源使用的机制。对于任一 systemd 服务来说,在其服务文件中,设置 TasksMax 值来限制最大进程数。TasksMax 的默认值由 DefaultTasksMax 指定,默认为512。

三、问题解决
1、修改/etc/systemd/system.conf中 DefaultTasksMax,将参数调大或屏蔽。
2、执行systemctl daemon-reload重新加载。
3、重启crond服务,systemctl restart crond
4、再查看crond进程下子进程的限制:systemctl status crond

四、总结
此次故障,kingbasecluster和数据库,如果故障后都是通过定时任务启动的,都属于定时任务服务下的子进程,会受到定时任务的进程数量限制。

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值