azkaban3.57及3.0插件的编译

相关环境：centos7，python，git

版本：azkaban3.57.0   azkaban-plugins 3.0.0（该分支比较完整）

 

vi /usr/libexec/urlgrabber-ext-down （如果没有安装git且已升级了Python3，此处需要改成python2）

yum install -y git （如未安装git）

 

创建目录azkabanProcess ：进入目录执行

# git clone -b 3.57.0 https://github.com/azkaban/azkaban.git

# git clone -b 3.0.0 https://github.com/azkaban/azkaban-plugins.git

 

 

一、azkaban编译

 

进入azkaban下载目录，执行：

# ./gradlew distTar -x test （-x test）跳过测试，避免一些测试错误

 

 

 

 

 

 

所有安装包在  ../build/distributions  下，有些只是jar包不用管。

 

 

二、azkaban-plugins编译

直接在主目录下执行  ant ,除了jobtype的spark会报错，其他正常编译

 

 

 

把配置文件对应的测试注释掉可以正常编译通过：（或者把报错行注释，这样spark相关就不会编译，到时候只需要把jobtype插件和安全插件放在目录即可，lib可以不要，已设置相应的spark_home；或者需要其他外部依赖）

 

 

 

 

 

此时运行ant正常编译完成：

 

 

 

 

 

 

最后加到jobtype后，建议把新增hadoop安全插件包

azkaban-hadoop-security-plugin-3.57.0.jar

加进来替换，相当于

azkaban-hadoopsecuritymanageryarn-3.0.0.jar

和

azkaban-hadoopsecuritymanager-3.0.0.jar

 

 

至此，azkaban3.x及相关插件编译完成，可以直接用于安装配置。