azkaban编译安装配置文档

最新推荐文章于 2023-04-08 18:19:19 发布
最新推荐文章于 2023-04-08 18:19:19 发布
阅读量362 收藏
点赞数
文章标签： 数据库 git 大数据
原文链接：http://www.cnblogs.com/honeybee/p/7592774.html
版权

azkaban编译安装配置文档

参考官方文档: http://azkaban.github.io/azkaban/docs/latest/
azkaban的配置文件说明：http://azkaban.github.io/azkaban/docs/latest/#configuration
本文挡主要参考azkaban的官方文档。

在azkaban3.0 以后的版本，提供了3中安装模式。单 solo-server mode， two server mode和multiple-executor mode。这三种模式的区别如下：

  • solo-server mode : 单机模式，
    轻量；使用内置的h2数据库， web server 和 executor server在同一个进程里，适合用于尝试和了解azkaban的功能。
  • two server mode：双机模式
    更严格，更重模式，适合生成环境；使用主从的mysql做存储，web server 和 executor server在不同的进程中，跟新和升级时对用户的影响较小。
  • multiple-executor mode：多个执行器模式
    该模式是最严格的生产环境。使用主从的mysql做存储；理想情况下，Web服务器（web server）和执行器（executor server）服务器在不同的主机上运行，以便升级和维护不应影响用户。 这个多主机设置为Azkaban带来了强大而可扩展的功能。

一 、 solo 模式的安装配置

可以按照如下步骤安装azkaban的solo模式.

  1. 下载克隆azkaban的git源码
    git clone https://github.com/azkaban/azkaban.git
  2. 编译当前最新版本的azkaban源码
cd azkaban; 
./gradlew build installDist -x test  #跳过测试
  1. 启动solo模式的azkaban服务
cd azkaban-solo-server/build/install/azkaban-solo-server; 
nohup sh bin/azkaban-solo-start.sh > ./azkaban-solo-start.log 2>&1 &

4.停止azkaban服务
bin/azkaban-solo-shutdown.sh

vi conf/azkaban-users.xml
查看azkaban默认的登录用户为: azkaban / azkaban

二 、 azkaban 的 multiple-executor 模式安装

  1. 编译azkaban源码
    我们先从GitHub上克隆源码，构建master分支下的代码，即当前最新的版本。
git clone https://github.com/azkaban/azkaban.git
cd ./azkaban
./gradlew clean
./gradlew build installDist -x test  #跳过测试
  1. azkaban数据库初始化

  • 在mysql上创建 azkaban的数据库

     mysql> CREATE DATABASE azkaban;
 mysql> CREATE USER 'azkaban' IDENTIFIED BY 'azkaban!#@';
 mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban' WITH GRANT OPTION;

  • 创建azkaban的数据库的初始化表：

     ./azkaban-db/build/sql/create-all-sql-3.32.2.sql
  1. 安装 azkaba的Web Server
    编译后web server安装包目录位置 ： azkaban-web-server/build/distributions/azkaban-web-server-3.32.2.tar.gz,编译后的安装包，解压后，只有bin，lib,web三个文件夹。
    azkaban-web-server 应包含如下目录：
FolderDescription
bin启动Azkaban jetty server 的脚本
confAzkaban的配置文件，
libAzkaban依赖的jar文件
extlib添加到extlib的其他jar将被添加到Azkaban的类路径中
plugins安装插件的目录
webThe web (css, javascript, image) files for Azkaban web server.

conf 目录下应该有如下文件：

  • azkaban.properties - azkaban运行时参数，是设置Azkaban所需的主要配置文件。
  • global.properties - 作为共享属性传递给每个工作流和作业的全局静态属性
  • azkaban-users.xml - 用于添加用户和角色进行身份验证。 如果XmLUserManager未设置为使用该文件，则不使用该文件。

还需要创建conf，extlib，plugins文件；以及conf目录下的azkaban.properties，global.properties，azkaban-users.xml 3个配置文件。

tar -zxvf azkaban-web-server-3.29.0.tar.gz
cd azkaban-web-server-3.32.2
mkdir conf
mkdir extlib
mkdir plugins
mkdir logs
touch conf/azkaban.properties
touch conf/global.properties
touch conf/azkaban-users.xml
touch conf/azkaban.private.properties
touch conf/log4j.properties
cp  mysql-connector-java-5.1.42-bin.jar ./extlib/
  • 获取 KeyStore for SSL:Azkaban 可以用 SSL 网络连接
##使用如下命令创建一个SSL密钥
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

o_keystore.jpg

生成的 keystore SSL密钥文件放在azkaban-web-server-3.32.2目录下即可。一旦keystore SSL密钥文件创建，需要在azkaban.properties中配置ssl相关的配置。

  • 下面一份azkaban-web-server的azkaban.propertiesp完整配置示例
    可以参考solo模式的配置文件azkaban-solo-server/build/distributions/azkaban-solo-server-3.32.2/conf/azkaban.properties作为模板
# Azkaban Personalization Settings
azkaban.name=mtime
azkaban.label=mtime bigdata scheduler system online
azkaban.color=#FF3601
#azkaban.color=#22DD6D
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

# UserManager config
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
#jetty.use.ssl=false
jetty.use.ssl=true
jetty.ssl.port=8993
jetty.maxThreads=25
jetty.port=8081

# Azkaban Executor settings
executor.host=mtime-bigdata01
executor.port=12321

# mail settings
mail.sender=monitor@mtime.com
mail.host=mail.mtime.com
mail.user=monitor@mtime.com
mail.password=111112232
mail.tls=true
job.failure.email=fuxin.zhao@mtime.com
job.success.email=fuxin.zhao@mtime.com

lockdown.create.projects=false
cache.directory=cache

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

#  KeyStore for SSL
jetty.keystore=keystore
jetty.password=mtimebigdata
jetty.keypassword=mtimebigdata
jetty.truststore=keystore
jetty.trustpassword=mtimebigdata

# Setting up the DB
database.type=mysql
mysql.port=3306
mysql.host=192.168.51.121
mysql.database=dmp
mysql.user=dmpuser
mysql.password=dmpuser123456
mysql.numconnections=100

#Multiple Executor Mode
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

vi log4j.properties

#OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL
#log4j.rootLogger=info,console,dailyLog
log4j.rootLogger=info,console

#---------------------------------------------------------------
####\u8f93\u51fa\u65e5\u5fd7\u5230\u63a7\u5236\u53f0
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.Threshold.console=info
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%p] %m%n

#--------------------------------------------------------------------------------
 
log4j.logger.test=debug
log4j.logger.org.apache.spark.scheduler=ERROR

vi azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>

  <user groups="bi" username="zhaofuxin"  password="123456" roles="read,write,execute,schedule,createprojects"/>
  <user groups="test" username="test"  password="123456" roles="read"/>
  <user groups="test" username="test1"  password="123456" roles="read,write,execute"/>
  <user groups="test" username="test2"  password="123456" roles="read,write,execute,schedule"/>
  
  <role name="metrics" permissions="METRICS"/>
  <role name="admin" permissions="ADMIN"/>
  <role name="read" permissions="READ"/>
  <role name="write" permissions="WRITE"/>
  <role name="execute" permissions="EXECUTE"/>
  <role name="schedule" permissions="SCHEDULE"/>
  <role name="createprojects" permissions="CREATEPROJECTS"/>
</azkaban-users>

4. 安装 azkaba的Executor Server

编译后web server安装包目录位置：azkaban-exec-server/build/distributions/azkaban-exec-server-3.32.2.tar.gz, 编译后的安装包，解压后，只有bin，lib三个文件夹。
azkaban-exec-server 应包含如下目录：

FolderDescription
bin启动Azkaban jetty server 的脚本
libAzkaban依赖的jar文件
confAzkaban的配置文件，
extlib添加到extlib的其他jar将被添加到Azkaban的类路径中
plugins安装插件的目录
logs日志目录，系统自动创建
executions执行日志目录，系统自动创建
projects项目目录，系统自动创建

还需要创建conf，extlib，plugins文件；以及conf目录下的azkaban.properties 配置文件。

  • 创建Executor Server下缺少的目录和文件
cd ~/azkaban/azkaban-exec-server-3.29.0
mkdir conf
mkdir extlib
mkdir plugins
mkdir logs
mkdir plugins/jobtypes
touch conf/global.properties
touch conf/azkaban.properties
touch conf/log4j.properties
touch plugins/jobtypes/commonprivate.properties
cp  mysql-connector-java-5.1.42-bin.jar ./extlib/
  • 配置Executor Server的配置信息
    vi conf/azkaban.properties
# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai

# Loader for projects
executor.global.properties=conf/global.properties

azkaban.project.dir=projects

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30

#Azkaban Executor port
executor.port=12321

# Setting up the DB
database.type=mysql
mysql.port=3306
mysql.host=192.168.51.121
mysql.database=dmp
mysql.user=dmpuser
mysql.password=dmpuser123456
mysql.numconnections=100

vi plugins/jobtypes/commonprivate.properties

# set execute-as-user
execute.as.user=false
#execute.as.user=true
#azkaban.native.lib=/home/hadoop/soft/azkaban/azkaban-web-server-3.29.0/bin

vi log4j.properties

#OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL
#log4j.rootLogger=info,console,dailyLog
log4j.rootLogger=info,console

#---------------------------------------------------------------
####\u8f93\u51fa\u65e5\u5fd7\u5230\u63a7\u5236\u53f0
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.Threshold.console=info
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%p] %m%n

#--------------------------------------------------------------------------------
log4j.logger.test=debug
log4j.logger.org.apache.spark.scheduler=ERROR
  • 如果要使用Multiple Executor 模式，需要在 webserver 的conf/azkaban.properties中配置如下信息：
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

配置修改后需要在重启后才能生效。

  • 在数据库中配置Multiple Executor 模式
insert into executors(host,port,active) values('192.168.17.50','12321','1');
insert into executors(host,port,active) values('192.168.17.51','12321','1');
insert into executors(host,port,active) values('192.168.17.52','12321','1');

5. 启动azkaban
先执行executor，再执行web，避免Web Server会因为找不到执行器启动失败。

  • 启动executor
    分别到多个excuter节点的服务上启动executor服务
cd azkaban-exec-server
sh bin/start-exec.sh
查看logs下的日志文件是否有错误
  • 启动Web Server
bin/start-web.sh

没有启动了ssl，访问如下地址：
http://192.168.17.50:8081

启动了ssl，访问如下地址：访问协议使用https，端口使用conf/azkaban.properties配置的jetty.ssl.port端口
https://192.168.17.50:8993

三、附录-异常

  • 关于azkaban.native.lib的异常：
15-06-2017 19:05:03 CST hello1 ERROR - Job run failed!
azkaban.utils.UndefinedPropertyException: Missing required property 'azkaban.native.lib'
    at azkaban.utils.Props.getString(Props.java:426)
    at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:209)
    at azkaban.execapp.JobRunner.runJob(JobRunner.java:755)
    at azkaban.execapp.JobRunner.doRun(JobRunner.java:597)
    at azkaban.execapp.JobRunner.run(JobRunner.java:558)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
15-06-2017 19:05:03 CST hello1 ERROR - Missing required property 'azkaban.native.lib' cause: null
15-06-2017 19:05:03 CST hello1 INFO - Finishing job hello1 attempt: 0 at 1497524703532 with status FAILED
scp ./azkaban-common/src/main/c/execute-as-user.c  to  ${azkaban.native.lib}
gcc execute-as-user.c -o execute-as-user
chown root execute-as-user
chmod 6050 execute-as-user

vi azkaban-exec-server-3.29.0/plugins/jobtypes/commonprivate.properties

execute.as.user=true
azkaban.native.lib=/home/zhaofuxin/soft/azkaban/azkaban-web-server-3.29.0/bin
  • 邮件配置错误
    azkaban 任务执行时邮件发送不成功。主要是配置原因，邮件发送失败的异常信息会在web server 的log 文件 webServerLog_20170621-130947.out的日志中打印，之前一直在excuter 的log和在job的运行日志中查问题，所以看不到异常。
    原因是邮件的tls没有开启，在 web server的 conf/azkaban.properties加入如下配置：
mail.tls=true
  • global.properties 没有创建，但是azkaban.properties中配置了，会发生异常：
2017-09-25 16:13:00 [azkaban.utils.StdOutErrRedirect]-[ERROR] Exception in thread "main" 
2017-09-25 16:13:00 [azkaban.utils.StdOutErrRedirect]-[ERROR] com.google.inject.ProvisionException: Unable to provision, see the following errors:

1) Error injecting constructor, java.io.FileNotFoundException: conf/global.properties (No such file or directory)
  at azkaban.execapp.FlowRunnerManager.<init>(FlowRunnerManager.java:155)
  at azkaban.execapp.AzkabanExecServerModule.configure(AzkabanExecServerModule.java:38)
  while locating azkaban.execapp.FlowRunnerManager
    for the 3rd parameter of azkaban.execapp.AzkabanExecutorServer.<init>(AzkabanExecutorServer.java:103)
  at azkaban.execapp.AzkabanExecServerModule.configure(AzkabanExecServerModule.java:36)
  while locating azkaban.execapp.AzkabanExecutorServer
  • bin/star-exec.sh 出现如下异常：
hadoop/apache-hadoop/hadoop/*
Starting AzkabanExecutorServer on port 12321
12321 ...
Error: Could not find or load main class 12321

原因是 conf/azkaban.properties 中 "executor.port=12321" 配置2遍，去掉一个即可。

  • log4j.properties 没有配置出现如下异常：添加log4j配置后恢复正常
Starting AzkabanExecutorServer on port 12321 ...
Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main"

转载于:https://www.cnblogs.com/honeybee/p/7592774.html

天为我蓝
关注
azkaba 多Executor配置
柔情岁月的博客
06-05 605
在原来安装（web/executor在不同进程）的基础上，在web和executor的azkaban.properties配置文件中加入： executor.port=12321 #（此配置项原来就有） azkaban.use.multiple.executors=true azkaban.executorselector.filters=StaticRemainingFlowSize,Min...
新版azkaban4.0编译安装教程
baidu_28351593的博客
11-04 1278
新版azkaban4.0编译安装教程 由于官方没有提供安装包所以需要下载源码，按照本文安装可以完美运行 解压 wget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gz tar -zxvf 4.0.0.tar.gz -C /opt/software/ cd azkaban-4.0.0 没有安装git的话需要先安装 https://gradle.org/releases/ yum -y update yum -y inst
Azkaban3.57.0的编译安装以及简单使用
weixin_30339457的博客
05-21 58
1.Azkaban 简介 azkaban是一个开源的任务调度系统，用于负责的调度运行（如数据仓库调度），用以替代Linux中的crontab。 Azkaban是一套简单的任务调度服务，整体包括三个部分webserver、dbserver、executorserver Azkaban是linux的开源项目，开发语言为Java。 Azkaban是由Link...
Centos 7 下安装azkaban 3.23.0多executor
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
05-11 2245
Azkaban是一个开源的工作流程调度系统，专为在Hadoop生态系统中批量工作和作业管理而设计。由LinkedIn开发并贡献给开源社区，Azkaban解决了在大数据处理中对作业流程管理和协调的需求。它的主要目标是以简单且高效的方式提供时间和依赖性管理。
Azkaban报错总结
默主归沙的博客
03-26 974
1、azkaban job Preparing 解决方法： 修改 web-server conf/azkaban.properties 配置。 # execute 主机过滤器配置, 去掉 MinimumFreeMemory # MinimumFreeMemory 过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行 azkaban.executorselector.filters=StaticRemainingFlowSize,Cp
大数据任务调度器 —— Azkaban 3.0 部署与简单应用
JIE的博客 --- moon_coder
04-08 1731
Azkaban 是一个分布式的 工作流程管理器，在 LinkedIn 实现，用于解决 Hadoop 作业依赖问题，处理需要按顺序运行的作业，从 ETL 作业到数据分析产品。
azkaban4.0编译包
02-09
1. **安装数据库**：首先，根据提供的数据库脚本或配置文件，设置一个支持Azkaban的数据库，如MySQL或PostgreSQL。 2. **解压服务器组件**：将`azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz`和`azkaban-web-server-...
电商数仓项目(五) Azkaban 安装、配置和使用 编译后的文件
03-02
4. **配置 Azkaban**：修改 conf/azkaban.properties 文件，配置包括数据库连接信息、服务器端口、日志路径等参数。 5. **启动服务**：使用 `java -jar server.jar` 命令启动 Azkaban Server。你可以通过修改 conf/...
azkaban 编译与部署
10-27
### Azkaban源码编译、安装与部署详解 #### 一、Azkaban简介 Azkaban是一款开源的工作流调度系统，它主要用于批量数据处理任务的管理与调度。Azkaban提供了简单易用的界面来创建、管理和监控工作流，并支持依赖...
Azkaban任务调度安装配置和使用
最新发布
03-28
### Azkaban任务调度安装配置和使用 #### 一、Azkaban介绍 ##### 1.1 为什么需要Azkaban 在大数据处理领域，一个完整的数据分析系统往往由多个任务单元组成，如Shell脚本、Java程序、MapReduce作业、Hive SQL脚本...
azkaban-3.38.0版本已编译
10-28
如果Azkaban WebServer下面没有conf目录，将azkaban-solo-web 下的conf目录拷贝过来
Azkaban安装部署使用详细篇
12-24
开源调度工具Azkaban详细安装步骤及使用说明，该文档目前是最新版本3.39.0版，较之前的版本发生了很大变化，需要的同学可以下载，如有不正确的地方欢迎留言。
azkaban启动报错 2022/06/20 21:39:27.726 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread “m
m0_50744317的博客
06-20 1261
启动azkaban服务，启动之后用jps查看，发现并没有进程。我有点懵，明明之前都是可以正常启动的。通过查看azkaban的日志文件之后发现报错了：2022/06/20 21:39:27.726 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2022/06/20 21:39:27.737 +0800 ERROR [StdOutErrRedirect] [Azkaban] com.google.inject.Prov
azkaban3.0调度spark
叶梨子
01-27 334
源码配置：https://github.com/azkaban/azkaban/blob/master/az-hadoop-jobtype-plugin/src/main/java/azkaban/jobtype/SparkJobArg.java google和官方文档都没有说明spark的调度方法，因此这个需要自己从源码处自己研究怎么写 配置过程 1.plugins/jobtypes下几个文件 commonprivate.properties和common.properties内的hadoop.home
azkaban 3.2 Missing required property 'azkaban.native.lib'
m0_38021517的博客
09-26 3932
这个问题很奇怪，第一次部署的时候没有出现，换了个环境部署就出现了，如果是老版本的话呢 plugins/jobtypes/commonprivate.properties下把 azkaban.native.lib=false就行了 但是我再3.2的那个配置文件下并没有找到这个可以改的地方 最后的解决方法是：common/java/azkaban/jobExeccutor/utils/Pro
Azkaban安装和使用实例
qq_32736999的博客
12-21 241
Azkaban安装 1、准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root. azkaban下载...
azkaban3.12 编译与安装
shp5174的博客
02-16 6573
因为公司的需要，硬着头皮安装了azkaban，由于本人十分小白，过程充满了痛苦，记过几天努力总算是可以进入azkaban的登录页面，先把这事到处说说 本人是在window环境下载编译的 azkaban3.12 ，因为公司linux测试环境安装gradle的难度似乎到sss级了，所以放弃。电脑里需要安装git 下载 1)通过git下载azkaban3.12分支,比较慢，但是听说在编译的
Azkaban 3.X 安装
热门推荐
老树
04-26 1万+
Azkaban 3.0+ 安装
Azkaban编译版压缩包发布：包涵多种安装格式
1. db：这个目录包含与Azkaban相关的数据库脚本和配置文件，通常用于设置和维护Azkaban所使用的数据库。Azkaban可以支持多种数据库系统，如MySQL、PostgreSQL等。 2. web server：这是Azkaban的Web服务组件，提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值