Linux环境下部署Azkaban

已于 2024-08-06 13:01:18 修改
阅读量955 收藏 14
点赞数 29
分类专栏： Hadoop生态 文章标签： azkaban
于 2024-08-06 12:52:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taogumo/article/details/140952740
版权

一、Azkaban概述

1、为什么需要工作流调度系统

1）一个完整的数据分析系统通常都是由大量任务单元组成：Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等2）各任务单元之间存在时间先后及前后依赖关系3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
（1）通过Hadoop先将原始数据同步到HDFS上；
（2）借助MapReduce计算框架对原始数据进行计算，生成的数据以分区表的形式存储到多张Hive表中；
（3）需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
（4）将明细数据进行复杂的统计分析，得到结果报表信息；
（5）需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用

2、 常见工作流调度系统

1）简单的任务调度：直接使用 Linux 的 Crontab 来定义；2）复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如 Ooize、Azkaban、Airflow、DolphinScheduler 等。

3、Azkaban 与 Oozie 对比

总体来说，Ooize 相比 Azkaban 是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器 Azkaban 是很不错的候选对象。

二、Azkaban安装步骤

1、上传 压缩包包

1）将 azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz 上传到 hadoop100 的/usr/local/soft/ 路径下

2）新建/usr/local/soft/azkaban 目录，并将所有 tar 包解压到这个目录下

mkdir /usr/local/soft/azkaban

3）解压 azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz 和 azkaban-web-server-3.84.4.tar.gz 到/usr/local/soft/azkaban 目录下

cd /usr/local/soft 
tar -zxvf azkaban-db-3.84.4.tar.gz -C /usr/local/soft/azkaban/
tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /usr/local/soft/azkaban/
tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /usr/local/soft/azkaban/

4) 进入到/usr/local/soft/azkaban 目录，依次修改名称

cd /usr/local/soft/azkaban 
mv azkaban-exec-server-3.84.4/ azkaban-exec
mv azkaban-web-server-3.84.4/ azkaban-web

2、 启动MySql、创建账户

MySQL版本：8.0.15，部署省略（有需要参考相关部署文档）

1） 启动 MySQL并登录

mysql -u root -proot123

2) 创建 Azkaban 数据库

create database azkaban;

3）创建 azkaban 用户并赋予权限

  • 设置密码有效长度 4 位及以上

    mysql> set global validate_password.length = 4;

  • 设置密码策略最低级别

    mysql> set global validate_password.policy=0;

  • 创建 Azkaban 用户，任何主机都可以访问 Azkaban，密码是 azkaban

    mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';

  • 赋予 Azkaban 用户增删改查权限

    GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to'azkaban'@'%' WITH GRANT OPTION;
flush PRIVILEGES; # 刷新权限

4) 创建 Azkaban 表，完成后退出 MySQL

mysql> use azkaban;
mysql> source /usr/local/soft/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;
mysql> quit;

5）更改 MySQL 包大小；防止 Azkaban 连接 MySQL 阻塞

vim /etc/my.cnf

在[mysqld]下面加一行 max_allowed_packet=1024M

[mysqld]
max_allowed_packet=1024M

重启 MySQL

systemctl restart mysqld

3、系统环境变量配置

vi /etc/profile

添加如下内容：

export AZKABAN_HOME=/usr/local/soft/azkaban/
export PATH=$PATH:$AZKABAN_HOME/azkaban-web/bin
export PATH=$PATH:$AZKABAN_HOME/azkaban-exec/bin

使得环境变量生效

source /etc/profile

4、配置 Executor Server

Azkaban Executor Server 处理工作流和作业的实际执行。

编辑 azkaban.properties

vim /usr/local/soft/azkaban/azkaban-exec/conf/azkaban.properties

修改如下属性

#...
default.timezone.id=Asia/Shanghai
#...
azkaban.webserver.url=http://hadoop100:8091
#...
database.type=mysql
mysql.port=3306
mysql.host=hadoop100
mysql.database=azkaban?useSSL=false&serverTimezone=UTC&characterEncoding=utf-8
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
executor.port=12321  #最后一行新增内容

完整内容如下：

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://hadoop100:8091
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=hadoop100
mysql.database=azkaban?useSSL=false&serverTimezone=UTC&characterEncoding=utf-8
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
executor.port=12321
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30

更换/usr/local/soft/azkaban/azkaban-exec/lib目录下的连接MySQL驱动包为

删除原有mysql-connector-java-5.1.28.jar，添加mysql-connector-java-8.0.15.jar

在MySQL命令窗口中切换到mysql数据库，执行如下内容：

show variables like '%time_zone%';
select now();  #查询当前时间
set global time_zone = '+8:00';
set time_zone = '+8:00';
flush privileges;
select now();  #查询当前时间

进入到/ usr/local/soft/azkaban/azkaban-exec 路径启动executorserver

cd /usr/local/soft/azkaban/azkaban-exec
bin/start-exec.sh
jps

关闭

shutdown-exec.sh

 

下面激活 executor

curl -G "hadoop100:12321/executor?action=activate" && echo

如果出现如下提示，则表示激活成功

{"status":"success"}

注：以上必须激活，如果使用过程中更新配置文件内容，也需要激活一下

5、配置 Web Server

Azkaban Web Server 处理项目管理，身份验证，计划和执行触发。1）编辑hadoop100中 azkaban.properties

vim /usr/local/soft/azkaban/azkaban-web/conf/azkaban.properties

修改如下属性

...
default.timezone.id=Asia/Shanghai
...
jetty.port=8091 #默认8081，防止冲突改成8091
...
database.type=mysql
mysql.port=3306
mysql.host=hadoop100
mysql.database=azkaban?useSSL=false&serverTimezone=UTC&characterEncoding=utf-8
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

完整文件

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8091
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=hadoop100
mysql.database=azkaban?useSSL=false&serverTimezone=UTC&characterEncoding=utf-8
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

说明：

StaticRemainingFlowSize：正在排队的任务数；
CpuStatus：CPU 占用情况
MinimumFreeMemory ：内存占用情况 。 测试环境， 必须将 MinimumFreeMemory 删除掉， 否则它会认为集群资源不够，不执行。

更换/usr/local/soft/azkaban/azkaban-web/lib目录下的连接MySQL驱动包为mysql-connector-java-8.0.15.jar，删除原有mysql-connector-java-5.1.28.jar

修改 azkaban-users.xml 文件，添加 soft863用户

vim /usr/local/soft/azkaban/azkaban-web/conf/azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin"
username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<user password="soft863" roles="admin" username="soft863"/>
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>

必须进入到 hadoop100的/usr/local/soft/azkaban/azkaban-web 路径，启动 web server

cd /usr/local/soft/azkaban/azkaban-web
bin/start-web.sh

关闭

shutdown-web.sh

三、访问网页

 访问 http://hadoop100:8091,并用 soft863用户登陆

数智侠
关注
  • 29
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Linux部署azkaban
bububu~
01-22 289
Linux部署azkaban 前置：部署jdk，部署GIT 克隆项目 git clone https://github.com/azkaban/azkaban.git 编译 cd azkaban/ ./gradlew build installDist 创建一个文件夹用来放azkaban的web项目 cd ../ mkdir azikaban-3.85.0 然后把克隆的项目中的压缩包复制到当前的web项目文件夹中,并解压 cd root/azkaban/azkaban-exec-se
Azkaban安装部署使用详细篇
12-24
接着，在Linux环境下执行以下命令来下载Azkaban 3.39.0版本的源码： ```bash cd /opt git clone https://github.com/azkaban/azkaban.git ``` 注意：文档提到的版本为2017-12-24克隆的版本3.39.0-17-g7b7833a，但...
Linux部署Azkaban
yeqi_ymj的博客
02-01 939
必须进入到/opt/module/azkaban/azkaban-exec 路径，分别在三台机器上，才能启动 executor server。如果在/opt/module/azkaban/azkaban-exec 目录下出现 executor.port 文件，说明 启动成功。必须进入到master的/opt/module/azkaban/azkaban-web 路径，启动 web server。Ooize 相比 Azkaban 是一个重量级的任务调度系统，功能全面，但配置使用 也更复杂。
Linux环境下的azkaban安装部署
向晚歌
09-05 1062
tar zxvf azkaban-web-server-2.5.0.tar.gz  tar zxvf azkaban-sql-script-2.5.0.tar.gz  tar zxvf azkaban-executor-server-2.5.0.tar.gz  rm -rf *.gz mv azkaban-web-2.5.0 server mv azkaban-executor-2.5.0 ...
Linux -azkaban部署
qq_52211469的博客
06-01 615
linux 部署 azkaban
linux下azkaban3版本的安装
sunlyliuh的专栏
02-13 394
linux下azkaban3.0以上版本的安装，需要使用gradle自己构建下载安装包 主要包含exec-server,web-server的配置，mysql数据库的创建
azkaban安装(Linux环境)
江湖峰哥的博客
06-17 813
azkaban
Azkaban【部署 01】Linux环境 CentOS Linux release 7
erthre的博客
05-15 676
链接：https://pan.baidu.com/s/1Bz2Z5xgY9dJiTMdCeKB8KQ提取码：f6s9包含资源：azkaban-3.70.0.tar.gz 和 gradle-4.6-all.zip。
通过 docker-compose 快速部署 Azkaban 保姆级教程
匠人精神，持之以恒！
06-11 797
Apache Azkaban 是一个开源的批处理工作流调度系统，用于管理和调度Hadoop生态系统中的任务和作业。
Azkaban集群模式部署
凉茶铺的博客
11-01 811
介绍了Azkaban的集群方式的搭建
Linux下Azkaban安装
weixin_33704234的博客
10-09 857
说明： CentOS 7JDK 1.8Azkaban版本：3.59.0官方文档：https://azkaban.readthedocs.io/en/latest/getStarted.html#building-from-source 安装步骤 Clone the repo: git clone https://github.com/azkaban/az...
Linux的azkaban.zip
07-07
在使用这个"Linux的azkaban.zip"压缩包时，用户首先需要在Linux环境下解压文件，然后按照Azkaban的官方文档或社区提供的指南进行安装和配置。这通常包括以下几个步骤： 1. **环境准备**：确保系统已经安装了Java...
azkaban-3.90.0.tar.gz
07-19
- **Linux环境**：Azkaban 通常部署在Linux服务器上，利用其强大的稳定性和丰富的工具链来运行大数据任务。 6. **扩展性**： - Azkaban 支持插件开发，用户可以根据需求扩展功能，如添加新的日志存储服务、身份...
azkaban-3x使用Linux安装使用
01-30
我是想免费分享给大家的，但是csdn最小要求资源分一定要2分，所以，大家需要的请给我留言，可以留下百度网盘，我网盘发送！ 我上传的这个资源是直接可用的，包括exec,web-server,和mysql资源库，正常用是没问题的，...
azkaban3.43.0--linux 相关源码tar包
08-09
Azkaban 3.43.0 是一个开源的工作流执行引擎，主要用于管理和调度复杂的批处理作业，尤其在大数据处理领域应用广泛。...通过在Linux环境下编译源码，用户可以获得更多的控制权，更好地集成到现有环境中。
最新直播系统带商城源码 附搭建教程（价值2w多）
08-05
最新直播系统带商城源码 附搭建教程 功能介绍： 礼物系统：普通礼物、豪华礼物、热门礼物、守护礼物、幸运礼物 提现方式：统一平台提现日期及方式，方便用户执行充值提现操作 连麦送礼PK：主播之间可进行互动连麦送礼PK，PK结束有相应的奖惩 直播间红包：平台主播及用户都可发红包，有多种红包类型及红包提醒 主播守护：可进行平台充值，守护心仪的主播，主播守护时长有多种设置 小视频拍摄：单独的小视频模块，包含视频列表，视频拍摄、编辑、上传、互动等 引导图功能：优化更新系统引导图，后台可上传图片或视频内容，视频内容可跳过 动态：点击动态可进入动态详情页，包含话题的动态点击话题可进入该话题动态列表，可查看该话题下所有动态信息，用户可对动态进行点赞、评论、举报等操作 商城：可通过商品名称搜索商品，搜索后可根据销量价格等进行筛选 商品详情：查看商品的名称价格销量评价等信息，可进入店铺，可与客服沟通，可直接购买 直播观看送礼提示：用户赠送礼物后，直播间公屏聊天处有送礼提示 直播购物车：观众在直播间中可查看主播直播购物车中的商品，点击某个商品跳转到商品介绍页面，商品介绍上有购买按钮，
简单的赛车小游戏，附源码
08-05
初始化和配置：设置游戏窗口大小、pygame 混音器等。 音频管理：AudioManage 类用于加载和播放背景音乐和音效。 精灵类：BaseSprite 是所有游戏对象的基类，EnemySprite、PlayerSprite 和 BgSprite 是继承自 BaseSprite 的具体精灵类。 精灵管理类：EnemyManage、PlayerManage 和 BgManage 分别管理敌人、玩家和背景精灵。 用户界面管理：UIManage 类管理游戏开始界面、游戏进行中的界面和游戏结束界面。 游戏管理：GameManage 类是游戏的主要控制类，负责游戏状态的维护、事件处理、更新绘制以及碰撞检测。 游戏循环：gm.run() 是游戏的主循环，它持续运行直到游戏退出。
ppo学习之ppo算法实现.zip
最新发布
08-05
ppo算法 ppo学习之ppo算法实现.zip
tampermonkey安装
08-05
tampermonkeytampermonkey安装。内容来源于网络分享，如有侵权请联系我删除。另外如果没有积分的同学需要下载，请私信我。
azkaban安装部署
08-24
Azkaban是一个用于调度和监控工作流的开源工具。下面是一个简单的Azkaban安装部署步骤： 1. 安装Java：Azkaban是基于Java开发的，因此首先需要安装Java。确保您已经安装了Java Development Kit（JDK）。 2. 下载Azkaban：您可以从Azkaban的官方网站（https://azkaban.github.io/）下载最新的稳定版本。解压下载文件到您选择的目录。 3. 配置Azkaban：进入解压后的Azkaban目录，编辑 `azkaban.properties` 文件以配置Azkaban。主要配置项包括数据库连接、日志存储位置、端口号等。 4. 准备数据库：Azkaban使用MySQL或H2作为其后端数据库。您可以选择使用其中之一。如果选择使用MySQL，请先创建一个新的MySQL数据库。 5. 初始化数据库：运行 `bin/azkaban-sql-script/create-all-sqls.sql` 文件初始化数据库。如果使用MySQL，请将脚本中的 `CREATE DATABASE` 语句修改为您创建的数据库名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数智侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值