网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
![](https://img-blog.csdnimg.cn/e6c7b1267a0a4e15a63481a83e640e81.png)
###### MySQL 配置
首先,我们需要先安装好 MySQL,可以参考我的这篇博客 —— [Hive 搭建(将 MySQL 作为元数据库)]( ),其中提到了如何安装 MySQL。
安装完 MySQL 之后,我们需要对其进行一些配置。
进入 MySQL
mysql -uroot -pxxxxxx
创建 Azkaban 的数据库
create database azkaban;
创建 Azkaban 的用户,并设置密码
CREATE USER ‘azkaban’@‘%’ IDENTIFIED BY ‘123456’;
赋予 Azkaban 用户权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to ‘azkaban’@‘%’ WITH GRANT OPTION;
切换到 Azkaban 数据库
use azkaban;
运行 Azkaban 的初始化 SQL 脚本文件
source /opt/module/azkaban/db/create-all-sql-3.84.4.sql;
验证
show tables;
初始化后,创建的表如下所示:
±----------------------------+
| Tables_in_azkaban |
±----------------------------+
| QRTZ_BLOB_TRIGGERS |
| QRTZ_CALENDARS |
| QRTZ_CRON_TRIGGERS |
| QRTZ_FIRED_TRIGGERS |
| QRTZ_JOB_DETAILS |
| QRTZ_LOCKS |
| QRTZ_PAUSED_TRIGGER_GRPS |
| QRTZ_SCHEDULER_STATE |
| QRTZ_SIMPLE_TRIGGERS |
| QRTZ_SIMPROP_TRIGGERS |
| QRTZ_TRIGGERS |
| active_executing_flows |
| active_sla |
| execution_dependencies |
| execution_flows |
| execution_jobs |
| execution_logs |
| executor_events |
| executors |
| project_events |
| project_files |
| project_flow_files |
| project_flows |
| project_permissions |
| project_properties |
| project_versions |
| projects |
| properties |
| ramp |
| ramp_dependency |
| ramp_exceptional_flow_items |
| ramp_exceptional_job_items |
| ramp_items |
| triggers |
| validated_dependencies |
±----------------------------+
**设置 MySQL 传输包大小。**
编辑文件 `vi /etc/my.cnf`,在 `[mysqld]` 中添加如下参数:
max_allowed_packet=1024M
![](https://img-blog.csdnimg.cn/d21f431d06a84437b474f5a5e6f2430b.png)
MySQL 默认的传输包大小是 `1MB`,Azkaban 运行过程中会产生阻塞,故将该参数调大。
**重启 MySQL,让参数生效。**
systemctl restart mysqld
###### Executor server 部署
1. 编辑配置文件
进入 Executor server 配置文件目录
cd /opt/module/azkaban/exec-server/conf
编辑文件 azkaban.properties
vi azkaban.properties
![](https://img-blog.csdnimg.cn/69685cb65eb4452c87a13da0710535a2.png)
![](https://img-blog.csdnimg.cn/1e6eae4c68544ef5965f1e0ebf3000ad.png)
修改完成后,保存并退出。
2. 文件分发
将 Executor server 安装目录分发到集群其它机器上。
scp -r exec-server/ hadoop105:/opt/module/azkaban/
scp -r exec-server/ hadoop106:/opt/module/azkaban/
3. 启动 Executor server 服务
分别进入主从机的 Executor server 目录
cd /opt/module/azkaban/exec-server
启动 Executor server
bin/start-exec.sh
停止 Executor server
bin/shutdown-exec.sh
![](https://img-blog.csdnimg.cn/0be8b526097e4775bd8a30d161399630.png)
4. 激活 Executor server 服务
启动完成后,Executor server 服务并没有运行,需要通过向其发送 GET 请求进行激活。
curl -G “hadoop104:12321/executor?action=activate” && echo
curl -G “hadoop105:12321/executor?action=activate” && echo
curl -G “hadoop106:12321/executor?action=activate” && echo
激活成功后,会出现提示:**{“status”:“success”}**
我们也可以直接在浏览器中访问网址进行激活,例如:`hadoop104:12321/executor?action=activate`
![](https://img-blog.csdnimg.cn/848d1ef45a9d457398583a851cbb3d72.png)
激活完成后,我们可以进入 MySQL 中查询 `azkaban.executors` 表进行验证,状态为 `1` 表示已经激活,为 `0` 表示未激活。
![](https://img-blog.csdnimg.cn/108cae7929174225a89ae995ffe5efa5.png)
Executor server 服务部署完成。
###### Web server 部署
1. 编辑配置文件
进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf
编辑文件 azkaban.properties
vi azkaban.properties
![](https://img-blog.csdnimg.cn/10aafac3df154c3594b746075c782ed7.png)
![](https://img-blog.csdnimg.cn/e337e42d61e646e59f21dd6f313eb76d.png)
修改完成后,保存并退出。
这里解释一下为什么要修改 Azkaban 的 `executor` 服务选举机制 `azkaban.executorselector.filters`。
在 Azkaban 的分布式多执行器模式中,它会从以下三个方面来进行择优选举执行器来完成任务:
* `StaticRemainingFlowSize`:当前执行器任务数量。
* `MinimumFreeMemory`:当前执行器所剩的最小内存,默认是 `6G`。如果每个执行器所在的机器剩余内存都不足 `6G` ,则会导致任务无法执行。
* `CpuStatus`:当前执行器的 CPU 剩余资源。
所以我这里删掉了 `MinimumFreeMemory` 参数,保证**学习阶段**的任务可以正常运行。
2. 设置 Web server 的管理员用户
进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf
编辑文件 azkaban-users.xml
vi azkaban-users.xml
添加一个管理员用户,账号密码随意,WEB 界面登录时使用。
3. 启动 Web server 服务
进入主机的 Web server 目录
cd /opt/module/azkaban/web-server
启动 Web server
bin/start-web.sh
停止 Web server
bin/shutdown-web.sh
![](https://img-blog.csdnimg.cn/1b770bdb49044dbcbea0da62a35b0238.png)
我们可以访问 `http://hadoop104:8081` (主机地址修改成自己的),进入 Azkaban 的 WEB 界面,输入账号密码进入系统。
![](https://img-blog.csdnimg.cn/23bdf3e3ea6848a098c6f09ac0024b73.png)
![](https://img-blog.csdnimg.cn/b2c34cc6fbda4cd5bd498d427a7206a5.png)
Web server 服务部署完成。
**Azkaban 环境搭建完成。**
##### Azkaban 之 Hello World
在 Windows 中新建文件 `azkaban.project`,添加如下内容:
azkaban-flow-version: 2.0
新建文件 `hello.flow`,添加如下内容:
nodes:
- name: demo
type: command
config:
command: echo “Hello World! Hello Azkaban!”
创建完成后,将这两个文件添加到压缩文件中。
![](https://img-blog.csdnimg.cn/38545ee937614e788a95f010445af89c.png)
进入 Azkaban 的 WEB 系统界面,提交项目。
点击右上角 `Create Project` 创建项目。
![](https://img-blog.csdnimg.cn/b296694025c74d32abeebf7021c3174e.png)
设置项目名称和描述,**注意,都不能使用中文**,否则无法创建。
![](https://img-blog.csdnimg.cn/536888b16c264418b4ab0bcb93a28437.png)
创建完项目后,点击 `upload` 上传项目压缩包。
![](https://img-blog.csdnimg.cn/0c883157c11e4482a4a9b204288401df.png)
上传完成后,我们就可以对任务进行执行了,点击 `Execute Flow` 开始执行任务。
![](https://img-blog.csdnimg.cn/d3b6262c56894ac98a1b3e461d6190a6.png)
![img](https://img-blog.csdnimg.cn/img_convert/f34a63b10a6f096f6b14c3e79496da52.png)
![img](https://img-blog.csdnimg.cn/img_convert/baddd64c87a4de606aa4d028c3dbfed6.png)
![img](https://img-blog.csdnimg.cn/img_convert/51cb9985136789d1b24ea37d69b117b2.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
94ac98a1b3e461d6190a6.png)
[外链图片转存中...(img-Wd4tSNA7-1715774450326)]
[外链图片转存中...(img-sVK4usHA-1715774450326)]
[外链图片转存中...(img-wNLRw74e-1715774450326)]
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**