Azkaban4.0.0搭建以及错误记录

最新推荐文章于 2023-06-05 17:47:52 发布
最新推荐文章于 2023-06-05 17:47:52 发布
阅读量670 收藏 2
点赞数 2
分类专栏： 调度 文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50851626/article/details/126182674
版权

Azkaban4.0.0搭建以及错误记录

4.0.0最大的改动就是支持k8s容器化部署，同时部分功能进行了恢复，之前老版本好用的功能在3.9.0版本后被取代了，现在恢复，目前测试下来azkaban4.0还是很稳定的。我不理解但我大受震撼，为啥好用的功能取消掉又恢复呢？而且咱就是说，azkaban原来一个轻量级的调度框架，现在为啥越来越难用，搭建的过程中各种bug，有这时间为啥不用DS呢。

环境搭建准备

azkaban3.0以后呢以及不支持安装包安装了。都是tar包，需要自己下载解压编译。(注意，这里默认电脑上面自带jdk8和mysql以及git环境，没有的请先安装，mysql8的话注意更换驱动)

1.下载tar包

下载地址：https://github.com/azkaban/azkaban/releases

下载完成后上传到服务器，开始操作

解压

tar -zxvf /路径/压缩包名 -C /目的路径

解压完成后将解压好的文件夹取一个方便的名字

mv /解压后的文件名 /新的文件名

下载完成后，开始编译azkaban内部的打包方式是gradle，azkaban在编译的过程中会自动根据版本的配置下载对应的gradle，但是下载速度感人，我们可以去解压后的文件下的/gradle/wrapper/gradle-wrapper.properties查看对应的gradle的版本，手动下载。

wget https://services.gradle.org/distributions/gradle-版本号.zip

修改配置文件中的gradle-wrapper.properties中的 distributionUrl属性，指明使用本地的 gradle

distributionUrl=gradle-版本号.zip

好了，我们可以开始build

./gradlew build installDist -x test

失败了就多来几次，实在不行，咱就找个编译好的包，安装就完了，咱不受这气

编程成功后

关键性的包就3个：db，exec，web

db里面存放的是azkaban配置的sql文件

exec就是运行的executor端服务了，也就是真正执行流的地方

web就是azkaban的web端服务了

这里补充一点，自己学习用也尽量不要用solo，可以在一台机器上搭建multiple executor模式，只不过是一个exec，exec和web在一个节点上罢了，但是你可以感受一下配置是咋配的哦，以后要搭建集群也好搭建。

分别解压这三个包，改名字

tar -zxvf /文件路径/azkaban-db-0.1.0-SNAPSHOT.tar.gz.tar.gz -C /目标路径
tar -zxvf /文件路径/azkaban-exec-0.1.0-SNAPSHOT.tar.gz.tar.gz -C /目标路径
tar -zxvf /文件路径/azkaban-web-0.1.0-SNAPSHOT.tar.gz.tar.gz -C /目标路径

mv azkaban-db-0.1.0-SNAPSHOT db
mv azkaban-exec-0.1.0-SNAPSHOT exec
mv azkaban-web-0.1.0-SNAPSHOT web

环境搭建

好了，到这一步就可以正式开始搭建了，不要聊了，不要聊了，先上DJ，先上DJ

配置Mysql

mysql -h ip地址 -P 3306 -u 用户名 -p密码(这里没有空格)
create database azkaban
use azkaban
source /目录地址/db/create-all-sql-0.1.0-SNAPSHOT.sql

sql脚本执行好以后。show tables，看看里面有没有表

创建ssl配置：

生成 keystore 的密码及相应信息的密钥库
cd /opt/module/azkaban
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入 keystore 密码：123456
再次输入新密码: 123456
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y

输入的主密码
（如果和 keystore 密码相同，按回车）：
再次输入新密码:


mv keystore /目标路径(web路径下)

开始配置web服务的配置文件：

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/module/azkaban/web/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/module/azkaban/web/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/module/azkaban/exec/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25

#Jetty SSL 端口
jetty.ssl.port=8443
#Jetty  端口
jetty.port=8081

#SSL 文件名（绝对路径）
jetty.keystore=/opt/module/azkaban/web/keystore
#SSL 文件密码 
jetty.password=123456 
#Jetty 主密码与 keystore 文件相同 
jetty.keypassword=123456
#SSL 文件名（绝对路径）
jetty.truststore=/opt/module/azkaban/web/keystore
#SSL 文件密码
jetty.trustpassword=123456

# Azkaban Executor settings
executor.port=12321

# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=

# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse 
proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus//过滤掉executor的限制，不然会报错
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

配置azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user username="admin" password="admin" roles="admin" /> 
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

配置executor服务的配置文件

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/module/azkaban/exec/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://localhost:8081
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse 
proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=/目标路径/plugins/jobtypes(这里要写绝对路径，别问，问就是都是泪水)
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
azkaban.executor.runtimeProps.override.eager=false

进入jobtypes目录下配置commonprivate.properties

#添加一行
azkaban.native.lib = false

启动服务

./azkaban/exec/bin/start.sh
./azkaban/web/bin/start.sh

启动发现访问不了
jps发现没有web服务，查看日志发现没有找到exec服务，启动失败
进入数据库中，将executors的表里面对应的active字段改为1，多exec下，让那个生效就该那个
./azkaban/exec/bin/shutdown.sh 关闭exec服务，重启一下，这里要注意，无论做了那种配置的修改，修改前最好是将服务停掉，修改完在启动
./azkaban/exec/bin/start.sh
curl -G "exec服务的地址:12321/executor?action=activate" && echo将exec的状态改为活跃，双重激活。
./azkaban/web/bin/start.sh
启动的时候注意要在同级目录下启动，不然有时候会报错

成功，完结撒花！

错误记录：

  1. 搭建过程中build不成功，原因是linkedin的服务器地址改了

    sed -i.bak \
"s/linkedin.bintray.com\/maven/linkedin.jfrog.io\/artifactory\/open-source\//" \
azkaban-4.0.0/build.gradle \
&& rm -f azkaban-4.0.0/build.gradle.bak

  2. 运行任务时报：[Azkaban] Unable to get scheduled flow triggers

    网站上有很多种说法，我的解决方法是：

    azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus//过滤掉executor的限制，不然会报错 也清理了内存，看了github对有的人有效有的人无效

  3. missing required property “azkaban.native.lib”

    这个问题需要配置azkaban.properties文件，看了前面的过程就懂了

注明：本篇博客也是我在看了很多别人的博客和github上的lssue总结出来的，搭建实在公司电脑搭建的配置文件不方便显示，有的配置片段是应用的别的博主的

引用配置片段的原文链接：https://blog.csdn.net/qq_38075749/article/details/121539432?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2-121539432-blog-121144836.pc_relevant_multi_platform_whitelistv1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2-121539432-blog-121144836.pc_relevant_multi_platform_whitelistv1&utm_relevant_index=5

如果侵权，请联系我删除

build以后的包在这里：

链接：https://pan.baidu.com/s/1Ah1Y7AbnLWc-yoI5AuuqYQ
提取码：po4v
–来自百度网盘超级会员V4的分享

Rocket798
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
azkaban-4.0.0.tar.gz
06-03
Azkaban4.0源码。
Azkaban4.0.zip
05-17
最新官方源码编译后的安装包文件，直接下载完美安装运行
黑猴子的家：Docker网址
黑猴子的博客
09-06 8162
网址 https://docs.docker.com/ image.png
解决方法：java.lang.NoSuchMethodError: javax.persistence.Table.indexes()[Ljavax/persistence/Index;...
weixin_30241919的博客
04-22 151
hibernate4.3版本 报错： 把实体注解的声明方式修改一下解决，如： 将 @Entity@Table（name=”table_name”）改为@Entity(name=”table_name”) 转载于:https://www.cnblogs.com/lj821022/p/4447270.html...
fatal: unable to access ‘https://github.com/azkaban/azkaban.git/‘: Encountered end of file
tanxinji的博客
04-19 299
【代码】fatal: unable to access ‘https://github.com/azkaban/azkaban.git/‘: Encountered end of file。
Azkaban4.0.0最新版的编译与安装
浅谈
06-25 2536
Azkaban的架构以及编译部署
记 Azkaban 4.0 编译过程 - 2022
NKDark0214的博客
01-20 440
Azkaban 4.0.0 编译
Azkaban 4.0启动报错
liuandefeng的专栏
06-05 336
1 error1 error1 error。
azkaban源码编译安装(解决[Azkaban] Unable to get scheduled flow triggers问题)
ciqingloveless的博客
02-27 2183
1 安装Mysql mysql安装文档有很多这里不详细描述 2 打包编译azkaban 由于azkaban编译需要下载很多依赖JAR，国外镜像比较慢，所以需要修改为国内镜像 yum -y install git cd /root/.gradle/ vi init.gradle # 添加如下内容 allprojects{ repositories { def ALIYUN_R...
Azkaban4.0.0编译和部署
10-10 1749
本文详细的介绍了如何编译和搭建Azkaban4.0.0的环境，可以让后来者少走弯路，避开很多的雷区，大大节省后来者的时间和降低操作的难度。
azkaban4.0.0-db.tar.gz
06-03
Azkaban4.0.0使用gradle编译后的数据库文件压缩包，用于创建azkaban数据表。
azkaban4.0.0-exec-server.tar.gz
06-03
Azkaban4.0.0使用gradle编译后的执行器压缩包，用于执行定时任务。部署参见博客：https://blog.csdn.net/Xin_101/article/details/117448591?spm=1001.2014.3001.5501
azkaban4.0.0-web-server.tar.gz
06-03
Azkaban4.0.0使用gradle编译后的web客户端压缩包，用于配置定时任务。部署参见博客：https://blog.csdn.net/Xin_101/article/details/117448591?spm=1001.2014.3001.5501
azkaban-4.0.0_buildoff.tar.gz azkaban4.0.0连接mysql8.0编译后的包
09-13
azkaban4.0.0连接mysql8.0编译后的包 全包没删减，构建完成了，可以直接用 用的时候提取 azkaban/azkaban-exec-server/build/install/azkaban-exec-server azkaban/azkaban-web-server/build/install/azkaban-web-...
CDH大数据平台 fatal: unable to access ‘https://github.com/azkaban/azkaban.git/‘: Encountered end of file
80后大叔爱学习
10-19 240
azkaban在进行github进行源码下载时候ssl认证有问题
azkaban运维中遇到的问题
h952520296的博客
01-11 379
1，azkabanweb页面样式丢失，css丢失 web报错 Failed to load resource: the server responded with a status of 404 (Not Found) 发生原因：切换到bin目录里面启动导致 将azkaban.properties web.resource.dir=/usr/liuwunan/Azkaban/azkaban-web-server-3.73.1/web 修改为全路径即可 ...
java.lang.NoSuchMethodError: antlr.collections.AST.getLine()I 与org.springframework.transaction
离别灬逝去的博客
05-27 279
昨天在整合SSH框架时，本地测试没有问题，但是放在tomant上collections始终连不上 最终参阅各种博文查询方法，得出以下解决方案 1.看看 用户名/密码是否正确  2.数据库是否启动  3.看看spring的数据库、事务等配置文件经过检查，发现没有配置 配置加上后即可解决org.springframework.transaction异常 异常刚刚解决
java.lang.NoSuchMethodError: javax.persistence.Table.indexes()[Ljavax/persistenc
iteye_12242的博客
04-09 266
最近在配置最新的ssh（struts2.3.16.3+hibernate4.3.7+spring4.1.2）的时候遇到的这个错误提示，后来在网上找了半天都不能解决，虽然有个说法是model对象用这样@Entity(name = "UserInfo")的方式来实现，但是这样的话对象和表明必须一致，后来找到如下原因：希望对大家有所帮助，特分享如下： java.lang.NoSuchMethod...
azkaban-4.0.0安装部署报错
liuandefeng的专栏
06-01 883
Try:
如何解析azkaban的执行历史记录或者如何调用api接口来实现
最新发布
06-09
要获取Azkaban的历史任务执行数据，可以通过解析Azkaban的执行历史记录或者调用Azkaban的API接口来实现。具体的步骤如下： 1. 解析Azkaban的执行历史记录： Azkaban的执行历史记录保存在数据库中，可以通过查询数据库来获取历史任务执行数据。具体来说，可以通过以下步骤来实现： （1）登录Azkaban的数据库（一般是MySQL数据库）。 （2）查询history表，获取历史任务执行记录。history表包含了所有的历史任务执行记录，包括任务的ID、开始时间、结束时间、执行状态等信息。 （3）根据需要，可以进一步查询job和execution表，获取任务的详细执行信息。 2. 调用Azkaban的API接口： Azkaban提供了一些API接口，可以通过这些接口来获取历史任务执行数据。具体来说，可以通过以下步骤来实现： （1）登录Azkaban控制台，获取API的URL和API key。 （2）调用API接口，获取历史任务执行数据。Azkaban提供了一些API接口，如获取项目列表、获取流程列表、获取执行历史等接口。可以根据需要选择相应的API接口调用。 需要注意的是，Azkaban的API接口需要进行身份认证，需要在调用API之前先获取API key。另外，Azkaban的API接口返回的数据格式是JSON格式，需要进行解析才能获取具体的历史任务执行数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值