azkaban调度任务异常停止

项目场景:

项目中使用使用azkaban调度汇聚任务,使用datax执行数据同步任务,调度的任务超过2万多个,包括全量调度和增量调度


问题描述

运行一段时间后,调度任务不在执行,项目中查询不到任务调度信息。


原因分析:

登录linux服务器,使用df命令,发现磁盘目录/dev/vdat3占用为100%(此时为22%,已经删除了日志

具体查看后发现是由于azkaban系统产生的日志过多,将磁盘空间占用满,导致后续的调度没有办法继续执行。


解决方案:

1、使用crontab,定时删除azkaban产生的日志文件,如下:

cd /home/admin/soft/azkaban-3.90/azkaban-web-server/bin/logs/
echo "">azkaban-webserver.log

cd /home/admin/soft/azkaban-3.90/azkaban-web-server/bin
rm -rf *.out

2、修改azkaban配置文件,限制日志文件的大小,vim azkaban-3.90/azkaban-web-server/conf/log4j.properties,文件大小由100G修改为10G,文件数量改为2个。

log4j.appender.server.MaxFileSize=10240MB
log4j.appender.server.MaxBackupIndex=2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值