大数据任务调度器 —— Azkaban 3，2024年最新2024大数据开发开发社招面试总结

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

# 进入 Executor server 配置文件目录
cd /opt/module/azkaban/exec-server/conf

# 编辑文件 azkaban.properties
vi azkaban.properties

修改完成后，保存并退出。

2. 文件分发

将 Executor server 安装目录分发到集群其它机器上。

scp -r exec-server/ hadoop105:/opt/module/azkaban/
scp -r exec-server/ hadoop106:/opt/module/azkaban/

3. 启动 Executor server 服务

# 分别进入主从机的 Executor server 目录
cd /opt/module/azkaban/exec-server

# 启动 Executor server
bin/start-exec.sh

# 停止 Executor server
bin/shutdown-exec.sh

4. 激活 Executor server 服务

启动完成后，Executor server 服务并没有运行，需要通过向其发送 GET 请求进行激活。

curl -G "hadoop104:12321/executor?action=activate" && echo
curl -G "hadoop105:12321/executor?action=activate" && echo
curl -G "hadoop106:12321/executor?action=activate" && echo

激活成功后，会出现提示：{“status”:“success”}

我们也可以直接在浏览器中访问网址进行激活，例如：hadoop104:12321/executor?action=activate

激活完成后，我们可以进入 MySQL 中查询 azkaban.executors 表进行验证，状态为 1 表示已经激活，为 0 表示未激活。

Executor server 服务部署完成。

Web server 部署

1. 编辑配置文件

# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf

# 编辑文件 azkaban.properties
vi azkaban.properties

修改完成后，保存并退出。

这里解释一下为什么要修改 Azkaban 的 executor 服务选举机制 azkaban.executorselector.filters。

在 Azkaban 的分布式多执行器模式中，它会从以下三个方面来进行择优选举执行器来完成任务：

• StaticRemainingFlowSize：当前执行器任务数量。
• MinimumFreeMemory：当前执行器所剩的最小内存，默认是 6G。如果每个执行器所在的机器剩余内存都不足 6G ，则会导致任务无法执行。
• CpuStatus：当前执行器的 CPU 剩余资源。

所以我这里删掉了 MinimumFreeMemory 参数，保证学习阶段的任务可以正常运行。

2. 设置 Web server 的管理员用户

# 进入 Web server 配置文件目录
cd /opt/module/azkaban/web-server/conf

# 编辑文件 azkaban-users.xml
vi azkaban-users.xml

添加一个管理员用户，账号密码随意，WEB 界面登录时使用。

  <user password="study" roles="admin" username="study"/>

3. 启动 Web server 服务

# 进入主机的 Web server 目录
cd /opt/module/azkaban/web-server

# 启动 Web server
bin/start-web.sh

# 停止 Web server
bin/shutdown-web.sh

我们可以访问 http://hadoop104:8081 （主机地址修改成自己的），进入 Azkaban 的 WEB 界面，输入账号密码进入系统。

Web server 服务部署完成。

Azkaban 环境搭建完成。

Azkaban 之 Hello World

在 Windows 中新建文件 azkaban.project，添加如下内容：

azkaban-flow-version: 2.0

新建文件 hello.flow，添加如下内容：

nodes:
 - name: demo
   type: command
   config:
     command: echo "Hello World! Hello Azkaban!"

创建完成后，将这两个文件添加到压缩文件中。

进入 Azkaban 的 WEB 系统界面，提交项目。

点击右上角 Create Project 创建项目。

设置项目名称和描述，注意，都不能使用中文，否则无法创建。

创建完项目后，点击 upload 上传项目压缩包。

上传完成后，我们就可以对任务进行执行了，点击 Execute Flow 开始执行任务。

点击 Execute 执行任务。

提示已经成功将任务添加到了队列中，队列 id 为 1，点击 Continue 继续。

执行完成后，显示如下：

图标颜色：

• 绿色表示执行已经完成。
• 蓝色表示任务正在执行。
• 红色表示任务执行失败。

我们可以点击 Job List 查看该 Job 任务的执行情况以及日志。

Azkaban 中的 Hello World 案例完成。

Azkaban 配置文件介绍与编写规则

在 Azkaban 中有两种编写配置文件的格式，一种是 properties，另一种是 flow 格式的。

其中 properties 格式的文件是键值对的形式，而 flow 是一种基于 yaml 格式的文件，现在更常用的是后者。

我们在 Azkaban 的 Hello World 案例中创建了如下两个文件：

文件 azkaban.project，内容如下：

azkaban-flow-version: 2.0

文件 hello.flow，内容如下：

nodes:
 - name: demo
   type: command
   config:
     command: echo "Hello World! Hello Azkaban!"

其中文件 azkaban.project 中的内容是一个固定写法，告诉 Azkaban 用的是 flow 格式的配置文件。

然后文件 hello.flow 就是基于 yaml 格式编写的配置文件，我们现在来学习如何编写以及其语法。

yaml 基础语法如下：

• 缩进时不允许使用 Tab 键，只允许使用空格；
• 缩进的空格数目不重要，只要相同层级的元素左侧对齐即可；
• 字符 # 标识注释，从这个字符一直到行尾，都会被解释器忽略；

在文件 hello.flow 中的 - 字符表示数组，name、tyoe、config 表示数组中的元素，我们将其转换为 JSON 格式后如下所示：

{
    "nodes": [
        {
            "name": "demo",
            "type": "command",
            "config": {
                "command": "echo \"Hello World! Hello Azkaban!\""
            }
        }
    ]
}

这样是不是就能够容易理解许多。

一个 yaml 与 JSON 互相转换的网站：微工具

如果你想要学习更多关于 yaml 的语法内容，可以参考这篇博客 —— 最全 Yaml 语法详解

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

能够容易理解许多。

一个 yaml 与 JSON 互相转换的网站：微工具

如果你想要学习更多关于 yaml 的语法内容，可以参考这篇博客 —— 最全 Yaml 语法详解

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-eoZepX9j-1713389864147)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！