项目场景:
项目中使用使用azkaban调度汇聚任务,使用datax执行数据同步任务,调度的任务超过2万多个,包括全量调度和增量调度
问题描述
运行一段时间后,调度任务不在执行,项目中查询不到任务调度信息。
原因分析:
登录linux服务器,使用df命令,发现磁盘目录/dev/vdat3占用为100%(此时为22%,已经删除了日志)
具体查看后发现是由于azkaban系统产生的日志过多,将磁盘空间占用满,导致后续的调度没有办法继续执行。
解决方案:
1、使用crontab,定时删除azkaban产生的日志文件,如下:
cd /home/admin/soft/azkaban-3.90/azkaban-web-server/bin/logs/
echo "">azkaban-webserver.log
cd /home/admin/soft/azkaban-3.90/azkaban-web-server/bin
rm -rf *.out
2、修改azkaban配置文件,限制日志文件的大小,vim azkaban-3.90/azkaban-web-server/conf/log4j.properties,文件大小由100G修改为10G,文件数量改为2个。
log4j.appender.server.MaxFileSize=10240MB
log4j.appender.server.MaxBackupIndex=2