Azkaban4.0.0最新版的编译与安装

已于 2023-06-15 10:07:15 修改
阅读量3.2k 收藏 11
点赞数 5
分类专栏： 其他工具 文章标签： java 开发语言
于 2021-06-25 01:15:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqinyi574110/article/details/118199988
版权

Azkaban4.0.0最新版的编译与安装

1 Azkaban的编译

  1. 下载Azkaban的源码，这里我下载的是最新版$4.0.0
  2. Azkaban的编译环境必须是Java1.8及以上，自行下载Java1.8的安装包上传并配置环境变量。
  3. 上传源码包到Linux服务器上，通过如下命令解压。
unzip azkaban-4.0.0.zip
  1. Azkaban使用的是gradle进行构建的，我这里直接下载一个gradle安装包，使用的版本为4.6的。
  2. 把下载好的安装包上传到服务器上并移动到Azkaban的源码目录中，目录如下
cp gradle-4.6-bin.zip azkaban-4.0.0/gradle/wrapper/
#然后修改这个目录的gradle-wrapper.properties配置文件
distributionUrl=gradle-4.6-bin.zip
  1. 安装git包
yum install -y git
  1. Azkaban4.0.0版本有有三个依赖的版本在中央仓库中下载不到，手动修改这三个jar的版本号，操作如下
'com.linkedin.pegasus:generator',
'com.linkedin.pegasus:restli-server',
'com.linkedin.pegasus:restli-tools',
#修改这三个包的版本为:27.7.18
  1. 开始编译，使用如下命令
./gradlew distTar
  1. 中间如果有下载不下来的包，重新编译即可，编译完成后，会有四个包，分别在如下目录
azkaban-4.0.0/azkaban-exec-server/build/distributions
azkaban-4.0.0/azkaban-solo-server/build/distributions
azkaban-4.0.0/azkaban-web-server/build/distributions
azkaban-4.0.0/azkaban-db/build/distributions

2 Azkaban的部署模式

2.1 Solo Mode

用于测试工作流的开发

  1. 最简单的模式：类似于本地模式
  2. 不使用MySQL存储元数据，用自带的H2数据库来存储元数据
  3. webserver和ExecServer都在一个JVM中

2.2 Two Server Mode

  1. Azkaban在3.x稳定之前最多的模式
  2. 用MySQL数据库来存储元数据
  3. WebServer和ExecServer是独立的进程，运行在不同的JVM中
  4. 一个WebServer节点、一个Exec节点

2.3 Multiple Executor Mode

  1. 相比较于Two Server模式的区别：该模式支持多个ExecServer。
  2. 3.0版本之后才支持的功能。

3 架构功能

image-20200212115137301

  • Azkaban WebServer
    • 负责整个用户交互的界面
  • Azkaban ExecServer
    • 负责执行用户的工作流
  • Mysql
    • 负责存储用户的工作流，运行状态信息等等
    • 用于存储Azkaban的元数据
      ##4 部署
        在这里我们就部署Multiple Executor模式，选用3台机器，Azkaban WebServer和Azkaban ExecServer各部署一台机器。需要用到azkaban-db-0.1.0-SNAPSHOT.tar.gz、azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz、azkaban-web-server-0.1.0-SNAPSHOT.tar.gz这三个包，另外一个包在部署Solo Mode模式的时候才会用到。

4.1 配置数据库信息

##解压 azkaban-db-0.1.0-SNAPSHOT.tar.gz压缩包
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
cd azkaban-db-0.1.0-SNAPSHOT
##登陆MySQL数据库
mysql -uroot -p
##创建azkaban的数据库
create database azkaban;
##创建azkaban的用户名
create user 'azkaban'@'%' identified by 'azkaban'
##对azkaban用户进行授权操作azkaban数据库
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
##刷新权限
flush privileges;
##执行azkaban-db-xxx目录中的建表语句
source /root/create-all-sql-0.1.0-SNAPSHOT.sql;

4.2 安装WebServer

#上传azkaban-web-server-0.1.0-SNAPSHOT.tar.gz到其他一台Linux服务器上
#解压azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
cd azkaban-web-server-0.1.0-SNAPSHOT
#生成安全认证秘钥：Azkaban对于安全管理做得非常好，通过SLA、jetty等实现安全访问
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
#输入秘钥库的密码：
#重新输入密码：
#你的名字？:
#单位？
#部门？
#区域？
#省份？
#国家缩写？CN
#是否确认？Y
#输入jettey,就是秘钥库密码:
#重新输入：
#根据自己的情况填写
#得到一个安全认证的秘钥文件，后续访问Azkaban，需要用到这个文件

4.3 修改Azkaban的配置文件

vim conf/azkaban.properties
azkaban.name=qywang
azkaban.label=Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=true
jetty.maxThreads=25
jetty.port=8443
#指定keystore文件的位置
jetty.keystore=/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.password=azkaban
jetty.keypassword=azkaban
#指定keystore文件的位置
jetty.truststore=/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.trustpassword=azkaban
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.50.1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

  注意：这个脚本里面所有的配置文件都写了相对路径，启动Azkaban的时候，就在Azkaban的根目录中使用bin/start-web.sh启动，不然Azkaban会找不到配置文件

4.4 安装ExecServer

#上传azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz到其他一台Linux服务器上
#解压azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
vim azkaban-exec-server-0.1.0-SNAPSHOT/conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Where the Azkaban web server is located
azkaban.webserver.url=http://v3:8443
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=192.168.50.1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.props.resolve.overrideExisting.enabled=false

4.5 启动Azkaban

##一定要先启动ExecServer
cd /opt/cloudera/azkaban-exec-server-0.1.0-SNAPSHOT
#执行启动exec
bin/start-exec.sh
#每一次启动必须手动激活这个exec，要么手动修改数据库，要么执行以下命令
curl -G "192.168.50.1:$(<./executor.port)/executor?action=activate" && echo
## 启动WebServer
/opt/cloudera/azkaban-web-server-0.1.0-SNAPSHOT
bin/start-web.sh
##然后就可以在浏览器访问WebUI。
https://xxx.xxx.xxx.xxx:8443
默认用户名密码：azkaban/azkaban
Azkaban 系列（二）—— Azkaban 3.x 编译及部署
黑白影的博客
06-07 953
一、Azkaban 源码编译 1.1 下载并解压 Azkaban 在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。 下载所需版本的源码，Azkaban的源码托管在GitHub上，地址为https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码，也可以使用wget直接下载对应release版本的tar.gz文件，这里我采用第二种方...
azkaban 编译与部署
10-27
azkaban 源码编译，安装部署。
Azkaban4.0.0搭建以及错误记录
m0_50851626的博客
08-05 918
4.0.0最大的改动就是支持k8s容器化部署，同时部分功能进行了恢复，之前老版本好用的功能在3.9.0版本后被取代了，现在恢复，目前测试下来azkaban4.0还是很稳定的。
Azkaban4.0.0版本编译
weixin_45441740的博客
02-11 822
Azkaban4.0.0版本编译 前言 由于4.0之前的版本在实际应用过程中会在安扫中jar包Apache Velocity爆出巨大漏洞需要升级至2.3以上版本，所以建议使用4.0.0版本的Azkaban 安装包下载 https://github.com/azkaban/azkaban/releases wget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gz -O azkaban-4.0.0.tar.gz 安装编译工具
maven明明有依赖报错Unresolved dependency，Could not find artifact解决方法
最新发布
2401_87339759的博客
03-21 335
今天拉取项目，明明依赖存在，maven一直报错，首先确保依赖是不是存在了，可以尝试下清理下缓存。
最新azkaban编译版本，可直接使用
02-23
azkaban3最新编译版本，已在服务器上测试，可以使用。
Azkaban4.0.0编译和部署
10-10 2158
本文详细的介绍了如何编译和搭建Azkaban4.0.0的环境，可以让后来者少走弯路，避开很多的雷区，大大节省后来者的时间和降低操作的难度。
Azkaban 3.x 编译及部署
weixin_30362083的博客
09-01 257
一、Azkaban 源码编译 1.1 下载并解压 Azkaban 在 3.0 版本之后就不提供对应的安装包，需要自己下载源码进行编译。 下载所需版本的源码，Azkaban 的源码托管在 GitHub 上，地址为 https://github.com/azkaban/azkaban 。可以使用 git clone 的方式获取源码，也可以使用 wget 直接下载对应 release 版本的 ...
azkaban4.0编译包
02-09
Azkaban4.0编译包提供了预编译的组件，可以直接安装和使用，无需自行编译源代码。 在Azkaban4.0编译包中，包含了以下四个主要部分： 1. **azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz**：这是Azkaban执行服务器的...
Azkaban 4.0.0编译包及MySQL 8.0连接设置指南
本资源包为Azkaban 4.0.0版本的编译包，已经与MySQL 8.0进行了连接配置，并且未进行任何删减，可以直接使用。" 1. Azkaban简介： Azkaban是由LinkedIn开发的一个工作流调度工具，其主要目的是管理和调度大数据作业...
Azkaban 4.0.0 版本发布：全新自编译打包
资源摘要信息:"Azkaban-4.0.0 是一个由Azkaban社区最新发布的版本，该版本为2021年3月的自编译打包版本。Azkaban是一个开源的工作流管理系统，主要用于处理Hadoop作业的调度。它设计简单，易于使用，主要面向数据...
azkaban新版本压缩包.txt
09-11
azkaban使用的时候就都需要编译，而在编译过程中会出现多多少少的问题，网络连接失败导致的下载jar依赖最长出现，这里是个连接（永久有效），通过 百度云连接下载，解压即可使用 window /linux 2套版本 版本是：azkaban3.78.0
azkaban-3.38安装包（已编译）
05-22
版本：3.38，解压后，配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 （1）创建数据库 create database azkaban; （2）mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; （3）导入数据 use azkaban； source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果和密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件，引入mysql的依赖包 （1）将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server （2）修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径，否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件： log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log
azkaban-4.0.0.tar.gz
06-03
Azkaban4.0源码。
azkaban3.42版本已编译
03-02
# Build Azkaban ./gradlew build # Clean the build ./gradlew clean # Build and install distributions ./gradlew installDist # Run tests ./gradlew test # Build without running tests ./gradlew build -x test
azkaban4.0.0-db.tar.gz
06-03
Azkaban4.0.0使用gradle编译后的数据库文件压缩包，用于创建azkaban数据表。
Azkaban4.0.zip
05-17
这个"最新官方源码编译后的安装包文件"意味着用户可以直接下载并进行安装，无需自行编译源码，大大节省了时间。 首先，Azkaban的核心功能包括： 1. **工作流调度**：Azkaban支持基于时间的调度，例如每天、每周或...
Azkaban 4.0.0执行器压缩包部署指南
- **Azkaban4.0.0**: Azkaban的版本号，指明了这是该系统的一个特定的版本。了解一个软件的版本号对于掌握其功能、特性以及兼容性至关重要。版本号通常由主版本号、次版本号、修订号及可选的后缀（如 alpha, beta, ...
azkaban(版本2.5.0)安装
weixin_30904593的博客
06-07 303
配置mysql的字符编码 1. 登陆MySQL mysql -u root -p 2. 查看字符编码 show variables like 'character%'; 如果是utf8就忽略此操作！ 如若不是修改配置文件： vi /etc/my.cnf 在[mysqld]下面添加字符集编码 character_set_server=utf8 ...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值