Azkaban安装与使用
1 引言
1.1 目的
- 通过Azkaban的批量工作量任务调度器调用kettle
- 调用linux命令
- 调用java程序
- 调用shell脚本
1.2 背景
Azkaban是一个分布式工作流管理器,由LinkedIn实现。类似于JavaEE中的JBPM和Activiti工作流框架.。常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Alibaba Zeus,由于Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点,也得到了广泛应用。
1.3 术语
表格 1 3:术语表
术语 | 说明 |
---|---|
FLOW | 工作流程 |
JOB | 作业 |
1.4 参考资料
Azkaban官网网站:https://azkaban.github.io/
1.5 读者对象
开发人员、运维人员、大数据工程师
2 运行环境
2.1 软件方面
这里我以我自己本地的环境作为例子,仅供参考
序号 | 软件名称 | 版本 |
---|---|---|
1 | VMware Workstation 15 Pro | 15.0.0 |
2 | Azkaban | 3.9.1.0 |
3 | Gradle | 6.6.1 |
4 | JDK | 1.8.0_261 |
5 | Git | 2.17.1 |
3 系统环境安装
Ubuntu 18.04.5 LTS
4 软件安装和配置
4.1 下载代码,构建资源
- 克隆仓库
git clone https://github.com/azkaban/azkaban.git - 构建项目
sudo ./gradlew build -x test - 清理项目
sudo ./gradlew clean
4.2 启动和停止服务
进入Azkaban根目录后
cd /azkaban/azkaban-solo-server/build/install/azkaban-solo-server/
执行 sudo ./bin/start-solo.sh 启动solo-server服务
执行 sudo./bin/shutdown-solo.sh,停止solo-server服务
4.3 通过web打开Azkaban可视化界面
在浏览器中输入http://localhost:8081/,由于我将Azkaban安装在了虚拟机上,所以此处我使用的是http://192.168.255.131:8081/,默认的账号名为azkaban,密码为azkaban。
4.4 功能验证
1. 创建一个名为flow20.project的文件。添加Azkaban版本,表明这是一个Azkaban 2.0项目
azkaban-flow-version: 2.0
2. 创建另一个名为basic.flow的文件。添加名为nodes的部分,其中将包含您想要运行的所有作业。
nodes:
-
name: jobC
type: noop
# jobC depends on jobA and jobB
dependsOn:- jobA
- jobB
-
name: jobA
type: command
config:
command: echo “This is an echoed text.” -
name: jobB
type: command
config:
command: pwd
3. 将两个文件压缩为zip文件,直接压缩即可,不需要在外层创建文件夹,并命名为Archive.zip
4. 在project菜单下创建一个project,输入Name和Description,如official_demo和官方样例
5. 创建完毕后,点击upload菜单,将第三步压缩的Archive.zip进行上传
6. 点击Execute Flow,会弹出调度视图,再次点击Execute即运行成功
7. 查看调度日志
5 常见问题处理
5.1 构建时报错
Task :azkaban-exec-server:compileTestJava FAILED
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:24: 错误: 程序包javafx.util不存在
import javafx.util.Pair;
^
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:31: 错误: 找不到符号
private final List<Pair<String, Status>> sequence = new ArrayList<>();
^
符号: 类 Pair
位置: 类 StatusChangeRecorder
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:41: 错误: 找不到符号
void verifySequence(final List<Pair<String, Status>> expectedSequence) {
^
符号: 类 Pair
位置: 类 StatusChangeRecorder
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:32: 错误: 程序包javafx.util不存在
import javafx.util.Pair;
^
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:56: 错误: 找不到符号
private final List<Pair<String, Status>> expectedSequence = new ArrayList<>();
^
解决办法:构建时使用sudo ./gradlew build -x test,最根本的原因为我所使用的环境安装的为OpenJDK,只包含最精简的JDK,故我又重新安装了JDK 1.8.0_261。安装完毕后使用sudo ./gradlew build依旧构建不通过。百思不得其解, 但不执行测试代码可以通过。有兴趣的小伙伴可以自行研究下。