Azkaban4.0.0最新版的编译与安装

已于 2023-06-15 10:07:15 修改
阅读量2.7k 收藏 11
点赞数 5
分类专栏： 其他工具 文章标签： java 开发语言
于 2021-06-25 01:15:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqinyi574110/article/details/118199988
版权

Azkaban4.0.0最新版的编译与安装

1 Azkaban的编译

  1. 下载Azkaban的源码，这里我下载的是最新版$4.0.0
  2. Azkaban的编译环境必须是Java1.8及以上，自行下载Java1.8的安装包上传并配置环境变量。
  3. 上传源码包到Linux服务器上，通过如下命令解压。
unzip azkaban-4.0.0.zip
  1. Azkaban使用的是gradle进行构建的，我这里直接下载一个gradle安装包，使用的版本为4.6的。
  2. 把下载好的安装包上传到服务器上并移动到Azkaban的源码目录中，目录如下
cp gradle-4.6-bin.zip azkaban-4.0.0/gradle/wrapper/
#然后修改这个目录的gradle-wrapper.properties配置文件
distributionUrl=gradle-4.6-bin.zip
  1. 安装git包
yum install -y git
  1. Azkaban4.0.0版本有有三个依赖的版本在中央仓库中下载不到，手动修改这三个jar的版本号，操作如下
'com.linkedin.pegasus:generator',
'com.linkedin.pegasus:restli-server',
'com.linkedin.pegasus:restli-tools',
#修改这三个包的版本为:27.7.18
  1. 开始编译，使用如下命令
./gradlew distTar
  1. 中间如果有下载不下来的包，重新编译即可，编译完成后，会有四个包，分别在如下目录
azkaban-4.0.0/azkaban-exec-server/build/distributions
azkaban-4.0.0/azkaban-solo-server/build/distributions
azkaban-4.0.0/azkaban-web-server/build/distributions
azkaban-4.0.0/azkaban-db/build/distributions

2 Azkaban的部署模式

2.1 Solo Mode

用于测试工作流的开发

  1. 最简单的模式：类似于本地模式
  2. 不使用MySQL存储元数据，用自带的H2数据库来存储元数据
  3. webserver和ExecServer都在一个JVM中

2.2 Two Server Mode

  1. Azkaban在3.x稳定之前最多的模式
  2. 用MySQL数据库来存储元数据
  3. WebServer和ExecServer是独立的进程，运行在不同的JVM中
  4. 一个WebServer节点、一个Exec节点

2.3 Multiple Executor Mode

  1. 相比较于Two Server模式的区别：该模式支持多个ExecServer。
  2. 3.0版本之后才支持的功能。

3 架构功能

image-20200212115137301

  • Azkaban WebServer
    • 负责整个用户交互的界面
  • Azkaban ExecServer
    • 负责执行用户的工作流
  • Mysql
    • 负责存储用户的工作流，运行状态信息等等
    • 用于存储Azkaban的元数据
      ##4 部署
        在这里我们就部署Multiple Executor模式，选用3台机器，Azkaban WebServer和Azkaban ExecServer各部署一台机器。需要用到azkaban-db-0.1.0-SNAPSHOT.tar.gz、azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz、azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这三个包，另外一个包在部署Solo Mode模式的时候才会用到。

4.1 配置数据库信息

##解压 azkaban-db-0.1.0-SNAPSHOT.tar.gz压缩包
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
cd azkaban-db-0.1.0-SNAPSHOT
##登陆MySQL数据库
mysql -uroot -p
##创建azkaban的数据库
create database azkaban;
##创建azkaban的用户名
create user 'azkaban'@'%' identified by 'azkaban'
##对azkaban用户进行授权操作azkaban数据库
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
##刷新权限
flush privileges;
##执行azkaban-db-xxx目录中的建表语句
source /root/create-all-sql-0.1.0-SNAPSHOT.sql;

4.2 安装WebServer

#上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz到其他一台Linux服务器上
#解压azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
cd azkaban-web-server-0.1.0-SNAPSHOT
#生成安全认证秘钥：Azkaban对于安全管理做得非常好，通过SLA、jetty等实现安全访问
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
#输入秘钥库的密码：
#重新输入密码：
#你的名字？:
#单位？
#部门？
#区域？
#省份？
#国家缩写？CN
#是否确认？Y
#输入jettey,就是秘钥库密码:
#重新输入：
#根据自己的情况填写
#得到一个安全认证的秘钥文件，后续访问Azkaban，需要用到这个文件

4.3 修改Azkaban的配置文件

vim conf/azkaban.properties
azkaban.name=qywang
azkaban.label=Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=true
jetty.maxThreads=25
jetty.port=8443
#指定keystore文件的位置
jetty.keystore=/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.password=azkaban
jetty.keypassword=azkaban
#指定keystore文件的位置
jetty.truststore=/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.trustpassword=azkaban
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.50.1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

  注意：这个脚本里面所有的配置文件都写了相对路径，启动Azkaban的时候，就在Azkaban的根目录中使用bin/start-web.sh启动，不然Azkaban会找不到配置文件

4.4 安装ExecServer

#上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz到其他一台Linux服务器上
#解压azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
vim azkaban-exec-server-0.1.0-SNAPSHOT/conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Where the Azkaban web server is located
azkaban.webserver.url=http://v3:8443
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.50.1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.props.resolve.overrideExisting.enabled=false

4.5 启动Azkaban

##一定要先启动ExecServer
cd /opt/cloudera/azkaban-exec-server-0.1.0-SNAPSHOT
#执行启动exec
bin/start-exec.sh
#每一次启动必须手动激活这个exec，要么手动修改数据库，要么执行以下命令
curl -G "192.168.50.1:$(<./executor.port)/executor?action=activate" && echo
## 启动WebServer
/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT
bin/start-web.sh
##然后就可以在浏览器访问WebUI。
https://xxx.xxx.xxx.xxx:8443
默认用户名密码：azkaban/azkaban
浅谈_
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
azkaban4.0编译安装教程
chenxi5404的专栏
09-27 1595
官方没有提供安装包，因此需要下载源码，自行编译 1.先安装git，编译的时候会用到 #yum –y update yum –y install git 2.在github上面下载azkaban4.0版本 https://codeload.github.com/azkaban/azkaban/tar.gz/refs/tags/4.0.0 下载完成后将文件复制到/opt目录下，使用命令解压 tar -zxvf azkaban-4.0.0.tar.gz -C /opt/ 3.配置gradle .
Azkaban4.0.0编译和部署
10-10 1863
本文详细的介绍了如何编译和搭建Azkaban4.0.0的环境，可以让后来者少走弯路，避开很多的雷区，大大节省后来者的时间和降低操作的难度。
大数据最全大数据任务调度器 —— Azkaban 3，2024年最新成体系化的神级大数据开发进阶笔记
最新发布
2401_84181403的博客
05-15 279
在 Azkaban 中有三个安装包，如下所示：其中azkaban-db是用于初始化 MySQL 的脚本，是执行服务器的安装包，是web serverWEB 服务器的安装包。
Azkaban基本及编译
Laozizuiku的博客
12-20 1159
Azkaban基础篇 工作流概述 工作流是将一组任务组织起来以完成某个经营过程：定义了任务的触发顺序和触发条件，每个任务可以由一个或多个软件系统完成，也可以由一个或一组人完成，还可以由一个或多个人与软件系统协作完成。 例：请假--》1天：部门经理审批 3天：部门经理审批---》hr 5天：部门...
Azkaban 系列（二）—— Azkaban 3.x 编译及部署
黑白影的博客
06-07 904
一、Azkaban 源码编译 1.1 下载并解压 Azkaban 在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。 下载所需版本的源码，Azkaban的源码托管在GitHub上，地址为https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码，也可以使用wget直接下载对应release版本的tar.gz文件，这里我采用第二种方...
Azkaban4.0.0分布式安装部署
weixin_65875490的博客
11-11 233
随着大数据开发的普及以及人们对工作流管理器的需求,Azkaban也受到了越来越多的开发者的使用，因此Azkaban 的版本也在持续更新，本文将使用Akaban 4.0.0讲解Azkabar的部署和使用。在Azkaban 3.X版本之后，Azkaban 提供了两种部模式，分别是 solo-server mode(独立服务器模式)和distributed multiple-executor mode(分布式多服务器模式)。
Azkaban3.90介绍及安装详细教程
yj2434的博客
11-09 1411
最新版Azkaban3.90介绍及安装1 Azkaban介绍2 Azkaban 的安装2.1 Azkaban 由三个关键组件2.2 安装Azkaban2.2.1 环境准备2.2.2 安装 Azkaban2.2.3 导入数据库2.3 配置运行 Azkaban2.3.1 创建 ssl 配置2.3.2 Azkaban web 服务器配置2.3.3 Azkaban executor 服务器配置2.3.4 启动 Azkaban2.4 验证 Azkaban 运行情况3. 构建工作流3.1 设计工作流程3.2 编写各阶
azkaban-4.0.0.tar.gz
06-03
本压缩包“azkaban-4.0.0.tar.gz”包含了Azkaban的源代码，为开发者提供了深入理解其内部工作原理、定制化开发以及性能优化的机会。 Azkaban的核心特性包括： 1. **工作流管理**：Azkaban允许用户定义一系列相互...
azkaban4.0.0-db.tar.gz
06-03
在部署Azkaban4.0.0时，首先需要安装MySQL服务器并配置相应的数据库连接参数。然后，解压"azkaban4.0.0-db.tar.gz"，从中提取出"azkaban-db-0.1.0-SNAPSHOT"，使用MySQL客户端工具（如MySQL Workbench或命令行工具）...
azkaban4.0编译包
02-09
Azkaban4.0编译包提供了预编译的组件，可以直接安装和使用，无需自行编译源代码。 在Azkaban4.0编译包中，包含了以下四个主要部分： 1. **azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz**：这是Azkaban执行服务器的...
azkaban-4.0.0_buildoff.tar.gz azkaban4.0.0连接mysql8.0编译后的包
09-13
azkaban4.0.0连接mysql8.0编译后的包 全包没删减，构建完成了，可以直接用 用的时候提取 azkaban/azkaban-exec-server/build/install/azkaban-exec-server azkaban/azkaban-web-server/build/install/azkaban-web-...
Azkaban4.0.zip
05-17
最新官方源码编译后的安装包文件，直接下载完美安装运行
azkaban4.0.0-exec-server.tar.gz
06-03
Azkaban4.0.0使用gradle编译后的执行器压缩包，用于执行定时任务。部署参见博客：https://blog.csdn.net/Xin_101/article/details/117448591?spm=1001.2014.3001.5501
Azkaban4.0.0搭建以及错误记录
m0_50851626的博客
08-05 728
4.0.0最大的改动就是支持k8s容器化部署，同时部分功能进行了恢复，之前老版本好用的功能在3.9.0版本后被取代了，现在恢复，目前测试下来azkaban4.0还是很稳定的。
新版azkaban4.0编译安装教程
baidu_28351593的博客
11-04 1192
新版azkaban4.0编译安装教程 由于官方没有提供安装包所以需要下载源码，按照本文安装可以完美运行 解压 wget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gz tar -zxvf 4.0.0.tar.gz -C /opt/software/ cd azkaban-4.0.0 没有安装git的话需要先安装 https://gradle.org/releases/ yum -y update yum -y inst
手把手--分享--azkaban4.0编译安装
qq_38075749的博客
11-25 1856
azkaban4.0编译安装部署 话不多说！! ！直接开干！！！ 1 下载源码： Releases · azkaban/azkaban · GitHub 2 下载上传解压 rz tar -zxvf /export/software/azkaban-4.0.0.tar.gz -C /home/azkaban/ 更名 mv /home/azkaban-master /home/azkaban 3 进入azkaban目录下后开始四部曲–> 若是下载太慢的情况下 就用这个盘里面的吧 四个8 cd /ho
azkaban编译时报错的解决方案
LMTX069的博客
12-19 1433
关于Azkaban和gradle下载，本文编译不限于单机solo模式。
Azkaban3.84.4安装与配置
07-28
安装和配置Azkaban 3.84.4的步骤如下： 1. 下载Azkaban 3.84.4的安装包。可以从引用\[1\]中提供的链接下载，或者从其他可靠的来源获取。 2. 解压安装包。根据引用\[1\]和引用\[2\]的指示，使用tar命令解压安装包，并将解压后的文件夹重命名。 3. 选择Mysql作为Azkaban的数据库。根据引用\[3\]的建议，使用Mysql作为Azkaban的数据库，因为它提供了一些增强功能和可靠性。 4. 创建安装目录。根据引用\[3\]的指示，创建一个目录来存放Azkaban的安装文件。 5. 解压并重命名其他组件。根据引用\[2\]和引用\[3\]的指示，解压并重命名Azkaban的其他组件，如执行服务器和Web服务器。 6. 发送SQL文件。根据引用\[3\]的指示，将创建所有SQL文件发送到指定的目录。 7. 导入Azkaban脚本。根据引用\[3\]的指示，使用Azkaban脚本导入所需的配置。 请根据上述步骤进行Azkaban 3.84.4的安装和配置。 #### 引用[.reference_title] - *1* *2* [Azkaban-3.84.4 兼容 mysql-8.0](https://blog.csdn.net/qq_33316544/article/details/125074262)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [黑猴子的家：Centos7 安装部署 Azkaban 3.84.4](https://blog.csdn.net/qq_28652401/article/details/117772402)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值