azkaban multiple-executor模式部署

最新推荐文章于 2024-07-11 16:34:57 发布
最新推荐文章于 2024-07-11 16:34:57 发布
阅读量472 收藏
点赞数
分类专栏： 调度系统 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh17673640696/article/details/111463479
版权

1、下载源码

git clone git@github.com:azkaban/azkaban.git
或者
wget https://github.com/azkaban/azkaban/archive/3.52.0.tar.gz

2、编译

进入到下载的azkaban目录中进行编译：

yum -y install git 
yum -y install gcc-c++
# Build Azkaban

./gradlew build（这一步需要等待的时间略久，需要提前安装git、gcc等软件，否则会报错）
 
# Clean the build
./gradlew clean
 
# Build and install distributions
./gradlew installDist
 
# Run tests
./gradlew test
 
# Build without running tests
./gradlew build -x test
Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试。（注意联
网下载jar可能会失败、慢）

2.1、如果上述操作一直失败，下面准备了所需要的文件

在这里插入图片描述

Azkaban所需要的sql脚本
azkaban-db-0.1.0-SNAPSHOT.tar.gz
Azkaban Web服务安装包
azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
Azkaban执行服务安装包
azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

节点规划
节点规划

3、 数据库准备

1.解压文件
tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz -C  /home/azkaban
2.安装mysql数据库 这里省略安装步骤
3.创建azkaban数据库
mysql -uroot -p
> CREATE DATABASE azkaban；

授权：

##允许任何客户端远程访问 并且马上生效
GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
4.导入建表语句
source /home/azkaban-db-0.1.0-SNAPSHOT/create-all-sql- 0.1.0-SNAPSHOT.sql;

4、配置Azkaban-web-server

1.进入linux122节点 解压azkaban-web-server
tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz –C /home/azkaban/
2.进入azkaban-web-server根目录下
cd /home/azkaban/azkaban-web-server-0.1.0-SNAPSHOT 
#生成ssl证书：
 keytool -keystore keystore -alias jetty -genkey -keyalg RSA

在这里插入图片描述注意：运行此命令后,会提示输入当前生成keystore的密码及相应信息,输入的密码请记住(所有密码统一
以12345678输入)，并且将生成的keystone文件拷贝到web-server的安装目录下的bin目录中，(不然报文件找不到错误)

3.修改 azkaban-web-server的配置文件
vim azkaban.properties
azkaban.name=Test              #服务器UI名称，用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601          #UI颜色
azkaban.default.servlet.path=/index
web.resource.dir=/home/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/web/   #要使用绝对路径
default.timezone.id=Asia/Shanghai #默认时区，已改为亚洲/上海
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager    #用户权限管理默认类，使用绝对路径
user.manager.xml.file=conf/azkaban-users.xml      #用户配置，具体配置参见下文
# Loader for projects
executor.global.properties=conf/global.properties #globa配置文件所在位置 使用绝对路径
azkaban.project.dir=projects                      
 
# Azkaban Jetty server properties.  #jetty服务器属性
jetty.maxThreads=25                 #最大线程数
jetty.ssl.port=8443                 #jetty ssl端口号
jetty.port=8443                     #jetty端口

# KeyStore for SSL ssl相关配置 注意密码和证书路径 
jetty.keystore=keystore             #SSL文件名
jetty.password=12345678             #SSL文件密码
jetty.keypassword=12345678          #jetty主密码与keystore文件相同
jetty.truststore=keystore           #SSL文件名
jetty.trustpassword=12345678        #SSL文件密码
# Azkaban Executor settings

# mail settings                     #邮件配置（暂没有配置）
mail.sender=                        #发送邮箱
mail.host=                          #发送邮箱smtp地址
mail.password=                      #邮箱密码
job.failure.email=                  #任务失败时发送邮件的地址
job.success.email=                  #任务成功时发送邮件的地址
lockdown.create.projects=false
cache.directory=cache               #缓存目录

database.type=mysql          #数据库类型
mysql.port=3306              #数据库端口号
mysql.host=linux123          #数据库连接地址
mysql.database=azkaban       #数据库实例名
mysql.user=root				 #数据库用户名
mysql.password=12345678      #数据库密码
mysql.numconnections=100     #数据库最大连接数
azkaban.use.multiple.executors=true
##azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

添加属性

mkdir -p plugins/jobtypes 
cd plugins/jobtypes/ 
vim commonprivate.properties
azkaban.native.lib=false 
execute.as.user=false 
memCheck.enabled=false

5、配置Azkaban-exec-server

linux123节点，解压azkaban-exec-server

tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz –C /home/azkaban/

修改azkaban-exec-server的配置文件

cd /home/azkaban/azkaban-exec-server-3.51.0/conf
vim azkaban.properties
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/lagou/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://linux122:8443
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=linux123
mysql.database=azkaban
mysql.user=root
mysql.password=12345678
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.port=12321

分发exec-server到linux121节点

scp -r azkaban linux121:$PWD

6、启动服务

#启动exec-server 
bin/start-exec.sh 
#启动web-server 
bin/start-web.sh

这时候查看web日志是报错了的，日志在bin目录下
在这里插入图片描述

在这里插入图片描述
需要手动激活executor，可以用下面两种方式（目前自己用的第二种）

1. cd /opt/lagou/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT
 curl -G "linux123:$(<./executor.port)/executor?action=activate" && echo

2.进入azkaban数据库中执行下面操作
 update azkaban.executors set active=1;

在这里插入图片描述

7、遇到的问题：

1.界面丑

在这里插入图片描述
解决：web要使用绝对路径
在这里插入图片描述

2.密码认证一直出错

注意与生成密码认证时填写的是否一致（可能看似一致，但是有空格的存在，格外注意）
在这里插入图片描述

3.启动executor 发现mysql无权限

配置好mysql的远程访问权限即可，在上面的授权中有

4.启动web时许多地方报路径找不到

建议都使用绝对路径即可

5.Azkaban报错:azkaban.executor.ExecutorManagerException: No active executors found

需在MySQL数据库里设置端口为12321的executors表的active为1，启动服务的第二个解决方案中有

8.启动后的界面

访问https://linux122:8443：

在这里插入图片描述
密码在 web服务器conf目录中的 azkaban-users.xml中
在这里插入图片描述

附：azkaban编译之后所需要的文件

链接：https://pan.baidu.com/s/1qDMim45SwV2wcTYaMZ4Lcg
提取码：e2od

我要去学习了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
4、azkaban-3.51.0 通过api进行操作azkaban界面功能
05-29
4、azkaban-3.51.0 通过api进行操作azkaban界面功能 网址：https://blog.csdn.net/chenwewi520feng/article/details/130749415 介绍azkaban通过其api调用其通过页面提供的功能
Azkaban多Executor模式下注意事项
子清的博客
02-12 584
Azkaban多Executor模式是指，在集群中多个节点部署Executor。在这种模式下， Azkaban web Server会根据策略，选取其中一个Executor去执行任务。 由于我们需要交给Azkaban调度的脚本，以及脚本需要的Hive，Sqoop等应用只在hadoop102部署了，为保证任务顺利执行，我们须在以下两种方案任选其一，推荐使用方案二。 方案一：指定特定的Executor（hadoop102）去执行任务。 1）在MySQL中azkaban数据库executors表中，查询hadoo
Azkaban-multiple-executor环境搭建
广彐水厂
04-21 356
multiple-executor mode（分布式多服务模式）： 1个webServer，多个executorServer分布在不同节点上， 存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。该模式是最严格的生产环境。 集群规划 一、前置准备 需要用到 Azkaban 编译后的 gz包（ azkaban-web-server-0.1.0-SNAPSHOT.tar....
重点来了！！！！分布式multiple-executor模式（azkaban三）
hxiaowang的博客
02-20 7205
最近公司hadoop集群升级ambari迁移后，发现我们用的azkaban是solo-server模式的，所以我要搭建个分布式multiple-executor模式（这样才对的起新集群平台） Azkaban三种模式安装前准备 Azkaban3.x在安装前需要自己编译成二进制包。 (1)编译环境 1.yum install git 2.yum install gcc-c++ (2)下载源码&amp;amp;amp;...
Azkaban 的三种部署模式是什么？
Shockang的博客
07-05 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 在 3.x 版本中， Azkaban 提供 3 种部署模式: 轻量级的 solo server mode (独立服务器模式)、重量级的 two server mode (双服务器模式)和 distributed multiple-executor mode (分布式多执行器模式)。 接下来，针对这 3 种
Azkaban3.x集群部署（multiple executor mode）
weixin_33725722的博客
08-22 304
介绍 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件： 关系数据库（目前仅支持mysql） web管理服务器－AzkabanWebServer 执行服务器－AzkabanExecutorSe...
Azkaban的安装部署
m0_43405302的博客
02-23 3169
文章目录一、Azkaban二、安装部署1、安装包准备2、安装Azkaban1.解压安装包2.文件重命名3.azkaban脚本导入3、生成密钥对4、相关配置1.修改时区2.Web服务器配置3.增加管理员用户4.执行服务器配置5.启动服务 一、Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban
azkaban3.57多executor节点安装图文教程
埋雷兽的博客
05-18 989
关于azkaban的源码编译请看另一篇博文《azkaban3.57及3.0插件的编译》 一、azkaban3.57多节点框架安装 1、创建相关mysql数据库（如 azkaban357），为改数据库创建相应用户并赋予权限（如azkaban）。 解压 azkaban-db-3.57.0.tar.gz 到相应目录 # tar –zxvf azkaban-db-3.57.0.tar.gz ...
1、azkaban介绍、三种（solo-server、two-server和multiple-executor）部署方式及验证
05-29
3. Multiple-Executor Mode：在大型或分布式环境中使用，Web Server和多个Executor Server分布在不同的机器上，同样使用MySQL数据库，提供更高的可扩展性和容错性。 部署Azkaban的Solo Server模式通常涉及以下几个...
Azkaban2.5.0 executor-server、web-server下载
10-21
`azkaban-executor-server-2.5.0.tar.gz`文件包含了Executor Server的所有必要组件和配置，包括服务器端的Java代码、配置文件、日志记录工具等。安装时，你需要解压这个文件，根据提供的文档配置服务器环境，如设置...
Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found
10-15
主要介绍了Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found,本文给大家介绍的非常详细，需要的朋友可以参考下
azkaban-executor
03-04
"azkaban-executor"指的是Azkaban中的Executor服务器组件，它是Azkaban系统中的关键部分，负责接收并执行由Azkaban Scheduler分发的任务。在本案例中，我们看到的文件"azkaban-executor-server-2.5.0.tar.gz"是一个...
azkaban集群多节点模式配置
delin的专栏
12-19 9256
配置多节点执行服务器的时候，需要在AzkabanWebServer的配置文件azkaban.properties里添加 azkaban.use.multiple.executors=true azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus azkaban.executorse
Azkaban安装及分布式部署（multiple-executor）
weixin_30519071的博客
04-25 1346
参考文章：https://blog.csdn.net/weixin_35852328/article/details/79327996 官网：https://azkaban.readthedocs.io/en/latest/ 　　Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建...
Azkaban Executor 设置任务并行度
勿忘初心
07-27 5924
近期需求，想对Azkaban当前运行的最大flow数有所控制。flow中可以包含多个job。（默认读者熟悉azkaban） 查到官网配置文件： https://azkaban.github.io/azkaban/docs/latest/#azkaban-execserver 在Azkaban executor的conf/azkaban.properties中配置： **executor.f...
Azkaban学习日记（三）——multiple-executor模式部署
weixin_41496763的博客
06-18 160
1、安装所需软件 Azkaban Web服务安装包 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz Azkaban执⾏服务安装包 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz sql脚本
Azkaban三种模式部署
热门推荐
王佩的CSDN博客
03-11 1万+
简介 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,但cro
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
最新发布
jiang0615csdn的博客
07-11 254
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
cd /usr/local/azkaban/azkaban-web
11-01
这是一个命令行操作，它的作用是将当前目录切换到/usr/local/azkaban/azkaban-web。在这个目录下，你可以执行一些与azkaban-web相关的操作，例如启动或停止azkaban-web服务，修改配置文件等等。 如果你想将azkaban-web-server的安装路径切换到/usr/local/azkaban/azkaban-web，你可以使用以下命令： ``` mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server-3.47.0 ``` 这个命令将azkaban-web-server-0.1.0-SNAPSHOT目录重命名为azkaban-web-server-3.47.0，从而实现将安装路径切换到/usr/local/azkaban/azkaban-web。 另外，如果你想将azkaban-web-server的conf目录拷贝到azkaban-executor-server的安装路径下，你可以使用以下命令： ``` cp -r azkaban-web-server-3.47.0/conf/ azkaban-executor-server-3.47.0/ ``` 这个命令将azkaban-web-server-3.47.0目录下的conf目录拷贝到azkaban-executor-server-3.47.0目录下，从而实现将配置文件复制到executor服务器的安装路径下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值