网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
Executor Server 负责处理工作流和作业任务的实际执行。
Azkaban 的部署模式
Azkaban 3.0
版本之后,提供了两种模式:
- 单机
solo-server
模式 - 分布式多执行器模式
在 solo server
模式下,DB 是嵌入式 H2,web server
和 executor server
运行在同一个进程中,主要用于小规模的测试。
在分布式多执行器模式中,它的数据库应该由具有主从设置的 MySQL 实例支持,web server
和 executor server
运行在不同的主机上,这样升级和维护就不会影响用户,适用于生产环境。
Azkaban 搭建
Azkaban 搭建规划如下:
服务名称 | hadoop104 | hadoop105 | hadoop106 |
---|---|---|---|
MySQL | √ | ||
web server | √ | ||
executor server | √ | √ | √ |
在 Azkaban 中有三个安装包,如下所示:
其中 azkaban-db
是用于初始化 MySQL 的脚本,azkaban-exec-server
是 executor server
执行服务器的安装包,azkaban-web-server
是 web server
WEB 服务器的安装包。
官网下载地址:Azkanban 官网下载
解压压缩包:
tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/
更换一个简单的名称:
cd /opt/module/azkaban/
mv azkaban-db-3.84.4/ db
mv azkaban-exec-server-3.84.4/ exec-server
mv azkaban-web-server-3.84.4/ web-server
MySQL 配置
首先,我们需要先安装好 MySQL,可以参考我的这篇博客 —— Hive 搭建(将 MySQL 作为元数据库),其中提到了如何安装 MySQL。
安装完 MySQL 之后,我们需要对其进行一些配置。
# 进入 MySQL
mysql -uroot -pxxxxxx
# 创建 Azkaban 的数据库
create database azkaban;
# 创建 Azkaban 的用户,并设置密码
CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';
# 赋予 Azkaban 用户权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.\* to 'azkaban'@'%' WITH GRANT OPTION;
# 切换到 Azkaban 数据库
use azkaban;
# 运行 Azkaban 的初始化 SQL 脚本文件
source /opt/module/azkaban/db/create-all-sql-3.84.4.sql;
# 验证
show tables;
# 初始化后,创建的表如下所示:
+-----------------------------+
| Tables_in_azkaban |
+-----------------------------+
| QRTZ_BLOB_TRIGGERS |
| QRTZ_CALENDARS |
| QRTZ_CRON_TRIGGERS |
| QRTZ_FIRED_TRIGGERS |
| QRTZ_JOB_DETAILS |
| QRTZ_LOCKS |
| QRTZ_PAUSED_TRIGGER_GRPS |
| QRTZ_SCHEDULER_STATE |
| QRTZ_SIMPLE_TRIGGERS |
| QRTZ_SIMPROP_TRIGGERS |
| QRTZ_TRIGGERS |
| active_executing_flows |
| active_sla |
| execution_dependencies |
| execution_flows |
| execution_jobs |
| execution_logs |
| executor_events |
| executors |
| project_events |
| project_files |
| project_flow_files |
| project_flows |
| project_permissions |
| project_properties |
| project_versions |
| projects |
| properties |
| ramp |
| ramp_dependency |
| ramp_exceptional_flow_items |
| ramp_exceptional_job_items |
| ramp_items |
| triggers |
| validated_dependencies |
+-----------------------------+
设置 MySQL 传输包大小。
编辑文件 vi /etc/my.cnf
,在 [mysqld]
中添加如下参数:
max\_allowed\_packet=1024M
MySQL 默认的传输包大小是 1MB
,Azkaban 运行过程中会产生阻塞,故将该参数调大。
重启 MySQL,让参数生效。
systemctl restart mysqld
Executor server 部署
- 编辑配置文件
# 进入 Executor server 配置文件目录
cd /opt/module/azkaban/exec-server/conf
# 编辑文件 azkaban.properties
vi azkaban.properties
修改完成后,保存并退出。
- 文件分发
将 Executor server 安装目录分发到集群其它机器上。
scp -r exec-server/ hadoop105:/opt/module/azkaban/
scp -r exec-server/ hadoop106:/opt/module/azkaban/
- 启动 Executor server 服务
# 分别进入主从机的 Executor server 目录
cd /opt/module/azkaban/exec-server
# 启动 Executor server
bin/start-exec.sh
# 停止 Executor server
bin/shutdown-exec.sh
- 激活 Executor server 服务
启动完成后,Executor server 服务并没有运行,需要通过向其发送 GET 请求进行激活。
curl -G "hadoop104:12321/executor?action=activate" && echo
curl -G "hadoop105:12321/executor?action=activate" && echo
curl -G "hadoop106:12321/executor?action=activate" && echo
激活成功后,会出现提示:{“status”:“success”}
我们也可以直接在浏览器中访问网址进行激活,例如:hadoop104:12321/executor?action=activate
激活完成后,我们可以进入 MySQL 中查询 azkaban.executors
表进行验证,状态为 1
表示已经激活,为 0
表示未激活。
Executor server 服务部署完成。
Web server 部署
- 编辑配置文件
# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf
# 编辑文件 azkaban.properties
vi azkaban.properties
修改完成后,保存并退出。
这里解释一下为什么要修改 Azkaban 的 executor
服务选举机制 azkaban.executorselector.filters
。
在 Azkaban 的分布式多执行器模式中,它会从以下三个方面来进行择优选举执行器来完成任务:
StaticRemainingFlowSize
:当前执行器任务数量。MinimumFreeMemory
:当前执行器所剩的最小内存,默认是6G
。如果每个执行器所在的机器剩余内存都不足6G
,则会导致任务无法执行。CpuStatus
:当前执行器的 CPU 剩余资源。
所以我这里删掉了 MinimumFreeMemory
参数,保证学习阶段的任务可以正常运行。
- 设置 Web server 的管理员用户
# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf
# 编辑文件 azkaban-users.xml
vi azkaban-users.xml
添加一个管理员用户,账号密码随意,WEB 界面登录时使用。
<user password="study" roles="admin" username="study"/>
- 启动 Web server 服务
# 进入主机的 Web server 目录
cd /opt/module/azkaban/web-server
# 启动 Web server
bin/start-web.sh
# 停止 Web server
bin/shutdown-web.sh
我们可以访问 http://hadoop104:8081
(主机地址修改成自己的),进入 Azkaban 的 WEB 界面,输入账号密码进入系统。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
n 的 WEB 界面,输入账号密码进入系统。
[外链图片转存中…(img-4aMOcFom-1715583280302)]
[外链图片转存中…(img-XntAt7ff-1715583280303)]
[外链图片转存中…(img-1SaVnJ0o-1715583280303)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新