Azkaban部署踩坑
Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job jobA, sleep for 60 secs and retry
向系统申请资源失败,一直重试,这个错误是一般是由于系统内存资源不够决定的,有两个解决方案,其一保证内存6G以上;其二,修改一下配置:
- /azkaban-web-server-3.84.4/conf/azkaban.properties
#原配置 StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
MinimumFreeMemory过滤器会检查executor主机空余内存是否会大于6G,如果不足6G,则web-server不会将任务交由该主机执行 —去掉该项配置
CpuStatus过滤