supervisor:多任务(340+)导致任务启动成功但是supervisor被系统杀死

多任务(340+)导致任务启动成功但是supervisor被系统杀死

环境描述: 用supervisor组控制300+任务,centos7,python2.7,supervisor单个配置如下

programs=name,....

[program:name]
command={name}.py
directory=*
autorestart=true
startsecs=5
autorestart=true
startretries=3
redirect_stderr=true
stdout_logfile_maxbytes=20MB
stdout_logfile_backups=10
stdout_logfile=/data/log//{name}.log
.....

问题描述: 当启动任务组中任务超过340+,虽然管理的340个任务会正常启动,但是会导致supervisor自动退出
定位问题,以及解决方案:
  1. 怀疑是脚本太多导致内存占用过高,centos杀死了supervisor,故利用htop+f6进行排序定位占用内存和cpu过高的脚本
    • 定位并尝试修复了我自己部分脚本的bug,这个时候机器CPU和内存使用已经下降
  2. find / -name supervisord.log 找到supervisor的log想从中知道supervisor为什么退出
    • 找到了日c志,很认真的看了一下,并没有发现supervisor退出的信息,只有supervisor本身启动信息,以及管理的各种进程启动信息
  3. 大胆才想莫不是supervisor自己的bug?用pip查看了supervisor的版本,发现当前版本为3.1.4(最新版本为4.0.4)
    • 果然,大胆出奇迹,在更新完supervisor的版本到4.0.4之后,就没有再出现过这种问题
  4. 题外话,中间还把阿里云的机器弄死机了两次…,甚至直接在阿里云控制面板直接重启都是无用的,最后还是发工单解决了这个问题(阿里给出的方案是切换启动方式为旧版内核启动),
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值