大数据最全大数据任务调度器 —— Azkaban 3，2024年最新成体系化的神级大数据开发进阶笔记

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

服务名称	hadoop104	hadoop105	hadoop106
MySQL	√
web server	√
executor server	√	√	√

在 Azkaban 中有三个安装包，如下所示：

其中 azkaban-db 是用于初始化 MySQL 的脚本，azkaban-exec-server 是 executor server 执行服务器的安装包，azkaban-web-server 是 web server WEB 服务器的安装包。

官网下载地址：Azkanban 官网下载

解压压缩包：

tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/

更换一个简单的名称：

cd /opt/module/azkaban/
mv azkaban-db-3.84.4/ db
mv azkaban-exec-server-3.84.4/ exec-server
mv azkaban-web-server-3.84.4/ web-server

MySQL 配置

首先，我们需要先安装好 MySQL，可以参考我的这篇博客 —— Hive 搭建（将 MySQL 作为元数据库），其中提到了如何安装 MySQL。

安装完 MySQL 之后，我们需要对其进行一些配置。

# 进入 MySQL
mysql -uroot -pxxxxxx

# 创建 Azkaban 的数据库
create database azkaban;

# 创建 Azkaban 的用户，并设置密码
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';

# 赋予 Azkaban 用户权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.\*	to 'azkaban'@'%' WITH GRANT OPTION;

# 切换到 Azkaban 数据库
use azkaban;

# 运行 Azkaban 的初始化 SQL 脚本文件
source /opt/module/azkaban/db/create-all-sql-3.84.4.sql;

# 验证
show tables;

# 初始化后，创建的表如下所示：
+-----------------------------+
| Tables_in_azkaban           |
+-----------------------------+
| QRTZ_BLOB_TRIGGERS          |
| QRTZ_CALENDARS              |
| QRTZ_CRON_TRIGGERS          |
| QRTZ_FIRED_TRIGGERS         |
| QRTZ_JOB_DETAILS            |
| QRTZ_LOCKS                  |
| QRTZ_PAUSED_TRIGGER_GRPS    |
| QRTZ_SCHEDULER_STATE        |
| QRTZ_SIMPLE_TRIGGERS        |
| QRTZ_SIMPROP_TRIGGERS       |
| QRTZ_TRIGGERS               |
| active_executing_flows      |
| active_sla                  |
| execution_dependencies      |
| execution_flows             |
| execution_jobs              |
| execution_logs              |
| executor_events             |
| executors                   |
| project_events              |
| project_files               |
| project_flow_files          |
| project_flows               |
| project_permissions         |
| project_properties          |
| project_versions            |
| projects                    |
| properties                  |
| ramp                        |
| ramp_dependency             |
| ramp_exceptional_flow_items |
| ramp_exceptional_job_items  |
| ramp_items                  |
| triggers                    |
| validated_dependencies      |
+-----------------------------+

设置 MySQL 传输包大小。

编辑文件 vi /etc/my.cnf，在 [mysqld] 中添加如下参数：

max\_allowed\_packet=1024M

MySQL 默认的传输包大小是 1MB，Azkaban 运行过程中会产生阻塞，故将该参数调大。

重启 MySQL，让参数生效。

systemctl restart mysqld

Executor server 部署

1. 编辑配置文件

# 进入 Executor server 配置文件目录
cd /opt/module/azkaban/exec-server/conf

# 编辑文件 azkaban.properties
vi azkaban.properties

修改完成后，保存并退出。

2. 文件分发

将 Executor server 安装目录分发到集群其它机器上。

scp -r exec-server/ hadoop105:/opt/module/azkaban/
scp -r exec-server/ hadoop106:/opt/module/azkaban/

3. 启动 Executor server 服务

# 分别进入主从机的 Executor server 目录
cd /opt/module/azkaban/exec-server

# 启动 Executor server
bin/start-exec.sh

# 停止 Executor server
bin/shutdown-exec.sh

4. 激活 Executor server 服务

启动完成后，Executor server 服务并没有运行，需要通过向其发送 GET 请求进行激活。

curl -G "hadoop104:12321/executor?action=activate" && echo
curl -G "hadoop105:12321/executor?action=activate" && echo
curl -G "hadoop106:12321/executor?action=activate" && echo

激活成功后，会出现提示：{“status”:“success”}

我们也可以直接在浏览器中访问网址进行激活，例如：hadoop104:12321/executor?action=activate

激活完成后，我们可以进入 MySQL 中查询 azkaban.executors 表进行验证，状态为 1 表示已经激活，为 0 表示未激活。

Executor server 服务部署完成。

Web server 部署

1. 编辑配置文件

# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf

# 编辑文件 azkaban.properties
vi azkaban.properties

修改完成后，保存并退出。

这里解释一下为什么要修改 Azkaban 的 executor 服务选举机制 azkaban.executorselector.filters。

在 Azkaban 的分布式多执行器模式中，它会从以下三个方面来进行择优选举执行器来完成任务：

• StaticRemainingFlowSize：当前执行器任务数量。
• MinimumFreeMemory：当前执行器所剩的最小内存，默认是 6G。如果每个执行器所在的机器剩余内存都不足 6G ，则会导致任务无法执行。
• CpuStatus：当前执行器的 CPU 剩余资源。

所以我这里删掉了 MinimumFreeMemory 参数，保证学习阶段的任务可以正常运行。

2. 设置 Web server 的管理员用户

# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf

# 编辑文件 azkaban-users.xml
vi azkaban-users.xml

添加一个管理员用户，账号密码随意，WEB 界面登录时使用。

  <user password="study" roles="admin" username="study"/>

3. 启动 Web server 服务

# 进入主机的 Web server 目录
cd /opt/module/azkaban/web-server

# 启动 Web server
bin/start-web.sh

# 停止 Web server
bin/shutdown-web.sh

我们可以访问 http://hadoop104:8081 （主机地址修改成自己的），进入 Azkaban 的 WEB 界面，输入账号密码进入系统。

Web server 服务部署完成。

Azkaban 环境搭建完成。

Azkaban 之 Hello World

在 Windows 中新建文件 azkaban.project，添加如下内容：

azkaban-flow-version: 2.0

新建文件 hello.flow，添加如下内容：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2.0

新建文件 `hello.flow`，添加如下内容：



[外链图片转存中...(img-SRCm4u9J-1715758311577)]
[外链图片转存中...(img-88FqruUA-1715758311578)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**