Azkaban 3.73.1 集群搭建（Multiple Executor）

最新推荐文章于 2023-04-27 20:03:22 发布
最新推荐文章于 2023-04-27 20:03:22 发布
阅读量106 收藏
点赞数
文章标签： 数据库 java 大数据
原文链接：http://www.cnblogs.com/remainsu/p/azkaban-3731-ji-qun-da-jian-multiple-executor.html
版权

目录

一、简介

Azkaban是LinkedIn开源的任务调度框架，采用java编写

Azkaban功能和特点：

  1. 任务的依赖处理
  2. 任务监控，失败告警
  3. 任务流的可视化
  4. 任务权限管理

Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点，也得到了广泛应用，主要由三部分组成

  • 关系数据库（目前仅支持mysql），用于存储作业/作业流的执行状态信息
  • AzkabanWebServer，web管理服务器，主要负责权限验证、项目管理、作业流下发等工作
  • AzkabanExecutorServer，执行服务器，主要负责作业流/作业的具体执行以及搜集执行日志等工作



作业流执行过程：Webserver会根据搜集起来的Executor的状态选择一个合适的任务运行节点，并将任务推送给该节点，管理并运行该工作流的所有job

二、前置准备

1. 服务分布

Multiple Executor模式，各机器组件分配如下：

机器组件
azkaban1azkaban-exec-server、mysql-server
azkaban2azkaban-exec-server
azkaban3azkaban-exec-server、azkaban-web-server

2. 安装 jdk

此处使用的是jdk1.8，查看安装详情

3. 配置 mysql

此处使用的是mysql5.7，安装步骤略

# 创建并使用数据库
CREATE DATABASE azkaban;
use azkaban;

# 创建用户并授权
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'; 
GRANT ALL ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;

# 导入建表语句
source azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql;





三、集群部署

1. 下载源码 & 解压

# 下载
wget https://github.com/azkaban/azkaban/archive/3.73.1.tar.gz
# 重命名
mv 3.73.1.tar.gz azkaban-3.73.1.tar.gz
# 解压
tar xvf azkaban-3.73.1.tar.gz

2. 安装所需依赖

yum install -y gcc-c++ git

3. 执行编译

cd azkaban-3.73.1/
# 编译 第一次运行时，此过程时间会比较长
# -x test 表示跳过测试
./gradlew build installDist -x test

看到如下，表示成功


4. 编译后的主要目录：

目录说明
azkaban-common常用工具类
azkaban-db对应的sql脚本
azkaban-exec-serverazkaban的executor-server单独模块
azkaban-hadoop-secutity-pluginhadoop有关kerberos插件
azkaban-solo-serverweb和executor运行在同一进程的项目
azkaban-spiazkaban存储接口以及exception类
azkaban-web-serverazkaban的web-server单独模块

5. 拷贝我们所需的文件并解压

# 所需位置新建azkaban目录
mkdir azkaban

# copy
cp azkaban-3.73.1/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz azkaban/
cp azkaban-3.73.1/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz azkaban/
cp azkaban-3.73.1/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz azkaban/

cd azkaban/

# 解压
tar xvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
tar xvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar xvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

# 软链
ln -s azkaban-db-0.1.0-SNAPSHOT azkaban-db
ln -s azkaban-exec-server-0.1.0-SNAPSHOT azkaban-exec
ln -s azkaban-web-server-0.1.0-SNAPSHOT azkaban-web

四、集群配置

1. 配置 WebServer

1.1 配置 jetty SSL
cd azkaban-web

# 生成keystore
# 注意开始和结束的时候输入的密码，其他按提示输入即可
keytool -keystore keystore -alias jetty -genkey -keyalg RSA



1.2 修改conf/azkaban.properties
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
#jetty.use.ssl=false
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=keystore
jetty.trustpassword=123456
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=azkaban1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
1.3 配置conf/azkaban-users.xml

我这里新增加了一条admin，具有所有权限

<user username="admin" password="admin" roles="admin,metrics"/>



1.4 启动 WebServer

注意：执行命令时的目录，否则会找不到某些文件

cd azkaban-web

# 启动
bin/start-web.sh

可以看到如下信息，因为当前还没有 Executors呢


2. 配置 ExecutorsServer

所有的ExecutorsServer服务器均按如下配置即可

2.1 修改conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
azkaban.jobtype.plugin.dir=plugins/jobtypes
database.type=mysql
mysql.port=3306
mysql.host=azkaban1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.connector.stats=true
executor.port=12321

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
2.2 启动

注意：执行命令时的目录，否则会找不到某些文件

cd azkaban-exec

# 启动
bin/start-exec.sh
2.3 重新启动WebServer

如果还是看到如下信息：


解决方式：登录azkaban使用的mysql数据库，查看executors表中是否存在active=1的executor，如果没有，修改active字段，而后再次启动即可


修改： 

update executors set active = 1 where id = 1;

参考

  1. 官方：https://azkaban.github.io/azkaban/docs/latest/#configuration
  2. https://blog.csdn.net/huohuotu/article/details/77487007
  3. https://blog.csdn.net/hxiaowang/article/details/87809772
  4. https://blog.csdn.net/liu16659/article/details/81367312

转载于:https://www.cnblogs.com/remainsu/p/azkaban-3731-ji-qun-da-jian-multiple-executor.html

weixin_30840573
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
azkaba 多Executor配置
柔情岁月的博客
06-05 575
在原来安装（web/executor在不同进程）的基础上，在web和executor的azkaban.properties配置文件中加入： executor.port=12321 #（此配置项原来就有） azkaban.use.multiple.executors=true azkaban.executorselector.filters=StaticRemainingFlowSize,Min...
Azkaban-3.73.1-windows.zip
12-04
总的来说，Azkaban-3.73.1-windows.zip提供了一套完整的Azkaban部署包，适合在Windows系统上搭建和管理大数据工作流。通过理解和掌握Azkaban的组件和功能，你可以更有效地组织和自动化复杂的批处理任务，提高工作...
azkaban-3.73.1.tar.gz
06-01
azkaban的压缩包azkaban-3.73.1.tar.gz。(σﾟ∀ﾟ)σ..:*☆哎哟不错哦
集群搭建系列（十三） azkaban 3.73.1
rocky_24的博客
12-24 323
文章目录1 不建议使用 3.73.1 其他生产环境换个正式版的 如图：2 下载、解压缩3 编译、 跳过测试.4 创建 azkaban 目录、将编译后的 exec web 复制到目录下。5 azkaban 数据库初始化6 配置文件修改7 启动命令：7 地址、异常 1 不建议使用 3.73.1 其他生产环境换个正式版的 如图： 因为我这个是测试环境必须跟生产一致，所以必须搭建这个版本。 2 下载、解压缩 wget https://github.com/azkaban/azkaban/archive/3
重点来了！！！！分布式multiple-executor模式（azkaban三）
hxiaowang的博客
02-20 7209
最近公司hadoop集群升级ambari迁移后，发现我们用的azkaban是solo-server模式的，所以我要搭建个分布式multiple-executor模式（这样才对的起新集群平台） Azkaban三种模式安装前准备 Azkaban3.x在安装前需要自己编译成二进制包。 (1)编译环境 1.yum install git 2.yum install gcc-c++ (2)下载源码&amp;amp;amp;...
azkaban-3.73.zip
05-19
包括azkaban-db-3.73.1.tar.gz、azkaban-exec-server-3.73.1.tar.gz、azkaban-solo-server-3.73.1.tar.gz、azkaban-web-server-3.73.1.tar.gz
Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found
10-15
主要介绍了Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found,本文给大家介绍的非常详细，需要的朋友可以参考下
大数据之azkaban介绍及安装部署
最新发布
qq_42588609的博客
04-27 432
用户可以通过Web界面来定义工作流，包括任务之间的依赖关系、任务的执行顺序和执行条件等。执行服务器会根据工作流的定义，自动调度任务的执行，并将执行结果返回给用户。SLA监控可以帮助用户监控任务的执行时间，如果任务执行时间超过了预设的时间，系统会自动发送警报。总的来说，Azkaban是一个非常实用的工作流调度系统，它可以帮助用户简化Hadoop作业的管理和调度，提高工作效率。在数据库中创建一个新的数据库，并创建相应的表。Azkaban执行器是用来执行任务的，需要在每个执行任务的机器上启动。
2.6.2 hadoop体系之离线计算-Azkaban工作流调度系统-Azkaban的安装（单服务模式+双服务模式）
敲代码的乔帮主
11-26 654
目录 1.编译源码得到安装包 1.1azkaban-exec-server 1.2azkaban-web-server 1.3azkaban-solo-server 1.4execute-as-user.c 1.5数据库脚本文件 2.Azkaban 单服务模式安装 2.1解压 2.2 修改配置文件 2.3启动solo-server 2.4 浏览器页面访问8081 3.单服务模式下使用azkaban 3.1 创建项目 3.2 项目命名​ 3.3 创建job文件，并压...
Azkaban安装过程分享-附《Azkaban技术分享手册》
大数据研习社
03-22 2298
以azkaban2.5为例：1、MySQL安装与配置 sudo service mysqld start mysql -u root -pa、为azkaban单独创建一个数据库： CREATE DATABASE azkaban;b、单独创建一个数据库用户 为了简单，我直接用root/hadoop%123，在生产上大家最好单独建一个用户c、为azkaban建表： 下载azkaban-sql-
azkaban多节点部署安装记录
zld_555的博客
06-27 2679
环境准备 jdk8+ mysql 节点划分 centosx1 centosx2 centosx3 web-server exe-server exe-server mysql 这里编辑了hosts文件,关闭了selinux和firewalld [root@centos7x3 azkaban-exec-server]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localho
azkaban multiple-executor模式部署
huni的博客
12-21 482
1、下载源码 git clone git@github.com:azkaban/azkaban.git 或者 wget https://github.com/azkaban/azkaban/archive/3.52.0.tar.gz 2、编译 进入到下载的azkaban目录中进行编译： yum -y install git yum -y install gcc-c++ # Build Azkaban ./gradlew build（这一步需要等待的时间略久，需要提前安装git、gcc等软件，否则会
Azkaban三种模式部署
王佩的CSDN博客
03-11 1万+
简介 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,但cro
（一）azkaban3.57环境搭建（单节点）
chen1306541的博客
04-12 1000
环境：CentOS-6.7、jdk1.8 1、下载azkaban源码包，下载地址：https://github.com/azkaban/azkaban/releases， 选择Latest release版本下载，本次下载源码包为azkaban-3.57.0.tar.gz 2、将azkaban-3.57.0.tar.gz上传至服务器，并解压至指定目录，解压目录为：/app/azkaban-3.5...
【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用
L先生AI课堂
11-02 1005
一、前述 Azkaban是一个工作流调度工具，因为需要各个任务之间有依赖关系，传统的Crontab 任务已经不能满足。 所以需要建立一套工作流引擎。相比Ooize来说，Azkaban的优势是作为一个客户端来提供任务的提交。而Ooize是将任务随机分配到我们的集群环境中。 考虑到常用架构，所以我们选择Azkaban进行工作流引擎。但是网上的搭建教程总会有各种各样的问题，实在令人烦心...
大数据技术之_13_Azkaban学习_Azkaban(阿兹卡班)介绍 + Azkaban 安装部署 + Azkaban 实战...
热门推荐
aodawu2891的博客
03-10 4万+
一 概述1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 各种调度工具特性对比1.4 Azkaban 与 Oozie 对比二 Azkaban（阿兹卡班） 介绍三 Azkaban 安装部署3.1 安装前准备3.2 安装 azkaban3.2 创建 SSL 配置3.3 时间同步配置3.4 配置文件3.4.1 Web 服务器配置3.4.2 执行服务器配置3.5 启动执行服务...
Azkaban 3.x 源码编译与 Solo Server 部署指南
1. **配置Azkaban**：修改`conf/azkaban.properties`文件，根据实际情况配置数据库连接、邮件服务器等参数。 2. **构建项目**：使用Gradle编译Azkaban源码，这会生成一个可执行的Solo Server JAR文件。 3. **启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值