azkaban安装配置及踩坑提醒

目录

1、安装地址

2、上传至虚拟机

3、解压

​ 4、编译

 5、Mysql安装及开启远程访问

 6、Azkaban数据库初始化

 7、Azkaban web服务器安装配置

8、Azkaban Executor服务器安装配置

9、 启动web

十、azkaban测试

1、任务调度测试

2、HDFS任务调度

---

1、安装地址

①第一种：通用的github项目的下载方式

 ②第二种下载方法，可以有选择性的下载自己需要的版本

2、上传至虚拟机

将下载到本地的zip包上传

3、解压

需要用unzip进行解压，先安装unzip

 

 

Azkaban目录介绍

 4、编译

出现错误，提示需要git工具，安装git 

重新编译

 

 5、Mysql安装及开启远程访问

详情参见：linux下centos7安装mysql5.7.36_又是被bug折磨的一天的博客-CSDN博客

 6、Azkaban数据库初始化

 

 创建数据库

 

 

 进入解压后的文件夹查看，找到需要的sql文件

 

 登录mysql后

use azkaban;

source /root/create-all-sql-0.1.0-SNAPSHOT.sql;

 7、Azkaban web服务器安装配置

 

解压到/export/servers/

 

配置web服务 ，Azkaban.properties

 

这里用绝对路径是因为如果用相对路径就会出现azkaban丑页面 

 

注意：第49行代码要注释掉要不然会报错

 azkaban-users.xml（可选的配置）

8、Azkaban Executor服务器安装配置

 

 解压到/export/servers

 

配置exec服务 

 

 将azkaban-solo-server-0.1.1-SNAPSHOT.tar.gz解压到/export/servers/目录下

 azkaban-exec-server-0.1.1-SNAPSHOT和azkaban-web-server-0.1.1-SNAPSHOT文件夹下没有plugins这个文件夹，

先修改 commonprivate.properties文件内容，添加一行内容

将该路径下的plugins复制到azkaban-web-server-0.1.0.SNAPSHOT文件夹下

以及azkaban-exec-server-0.1.0.SNAPSHOT路径下

启动exec和web

注意！！！一定要在bin目录的父目录上启动web和exec，不要在bin目录下启动服务，在bin目录下启动web和exec服务会出现这种错误：Missing required property “azkaban.native.lib”

启动exec 

9、 启动web

 访问web UI：输入用户名和密码都是azkaban

 

十、azkaban测试

1、任务调度测试

创建两个job文件

first.job文件

 

 second.job文件

 把刚才创建的两个job任务文件达成zip压缩包

 

在web UI中创建一个项目 

上传压缩包

查看工作流详情

 

 

 点击绿色的按钮

 点击execute按钮立即执行

查看执行结果

2、HDFS任务调度

 创建job描述文件

将job文件打zip包

 在web ui上创建项目并上传压缩包

 

 

 启动hadoop集群

启动执行

 出现错误

 重启azkaban

 重新执行任务

 查看结果

 在hadoop集群上查看