白话大数据开发之Azkaban问题一

白话大数据开发之Azkaban问题一

问题描述：- 作为任务调度工具，执行spark任务时，一直处于running状态**

如果在提交Azkaban时出现任务一直运行running状态，执行不完成，查看azkaban webui日志发现“Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job job1, sleep for 60 secs and retry, at… …”问题，

原因分析：是执行主机内存不足引起，azkaban要求执行主机可用内存必须大于3G才能满足执行任务的条

问题解决：**在…/azkaban-exec/plugins/jobtype目录下，配置commonprivate.properties文件，在文件中加入“memCheck.enabled=false”，不检查内存即可，重启azkaban。