Azkaban 的使用
Azkaban 的基本使用见:
https://blog.csdn.net/I_Demo/article/details/89555412?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase
Azkaban 问题总结
1、azkaban 服务进程一直删除 temp 目录下的文件,但文件所占空间并没有释放,导致系统磁盘不够用。
问题描述
运行 df -h
命令看到系统磁盘使用率已达到92%,然后用命令du -sh
排查那些目录占用的空间比较多时,并没有发现。
运行 lsof | grep deleted
命令后如图:
问题解决
将 temp 目录改到 数据磁盘目录下
修改 executor 结点的配置,重启
project.temp.dir=/data9/var/log/azkaban/temp
重启azkaban后,后台删除文件的进程已经释放,运行新的任务后台依然有删除文件的进程如:
该问题目前并没有解决