安装azkaban3.56.0踩过的坑

安装步骤，此处只写编译完之后的步骤：

（1）azkaban编译后目录

* solo-server $AZKABAN_HOME/azkaban-solo-server/build/distributions/azkaban-solo-server0.1.0-SNAPSHOT.tar.gz
* web-server $AZKABAN_HOME/azkaban-web-server/build/distributions/azkaban-web-server0.1.0-SNAPSHOT.tar.gz
*exec-server $AZKABAN_HOME/azkaban-web-server/build/distributions/azkaban-exec-server0.1.0-SNAPSHOT.tar.gz
*db数据库脚本 $AZKABAN_HOME/azkaban-web-server/build/distributions/azkaban-db-0.1.0SNAPSHOT.tar.gz
*hadoop-security-plugin $AZKABAN_HOME/azkaban-web-server/build/distributions/azkaban-hadoopsecurity-plugin-0.1.0-SNAPSHOT.tar.gz

（2）数据库初始化

 

 新建用户 create user azkaban identified by 'azkaban'; 

 授权 grant all privileges on azkaban to 'azkaban'@'%'identified by 'azkaban'  with grant option; flush privileges;
 
mysql密码设置 set global validate_password_policy=LOW; set global validate_password_length=6;

（3） 安装部署配置

 新建目录作为azkaban的安装目录 (6-2) web-server * 解压 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz, 修改conf/azkaban.properties 

（4）exec­server * 解压 azkaban­exec­server­0.1.0­SNAPSHOT.tar.gz 修改conf/azkaban.properties 

（5） db * 解压 azkaban­db­0.1.0­SNAPSHOT.tar.gz 执行数据库初始化工作 

此时  安装完成。

启动：

第一步：启动$azkaban_home/exec­server/bin/start­exec.sh 
 启动完后修改数据库executors,active=1有效

第二步：$azkaban_home/web­server/bin/start­web.sh

 

启动完之后，打开web页面  http ://ip :8081

登录，调度执行 helloword程序:

程序代码如下：

打成.zip上传到web页面

点击executor执行，此时发现，一直处于preparing 状态

去web ->logs下查看日志，没有任何error信息

exec->logs下查看日志，没有任何error信息

此时，懵逼

经过网上查资料，和实战：发现问题，

问题原因：
azkaban默认需要3G的内存，剩余内存不足则会报异常
解决办法：
将
azkaban-web-server/plugins/jobtypes/commonprivate.properties
和

azkaban-exec-server/plugins/jobtypes/commonprivate.properties
中添加：memCheck.enabled=false

或者重启大发（可暂时解决）

 

如果还不能解决，修改 web-server conf/azkaban.properties 配置

# execute 主机过滤器配置, 去掉 MinimumFreeMemory
# MinimumFreeMemory 过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行
改为：azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

 

至此，应该可以解决！！！！