Azkaban安装部署教程

最新推荐文章于 2024-09-10 09:17:09 发布
最新推荐文章于 2024-09-10 09:17:09 发布
阅读量639 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42529806/article/details/107007287
版权

Azkaban安装部署教程

源码编译

  1. 换行符-设置(git、IDEA、NotePadd++)
背景
    1. 系统说明-换行符：windows上换行符是CRLF；linux或者Mac OS上是LF
    2. 统一为LF的原因：
        1）由于我们最后的代码都是要部署到linux的，所以就统一设置成LF
        2）不设置为LF的话，会导致windows下的某些shell脚本，放到linux上执行不了

设置
    1. git设置
        1）git config --global core.eol lf #统一换行符为 lf
        2）git config --global core.autocrlf false #将自动转换关闭,避免转换失败不能不同进行提交
        3) git config --global core.safecrlf true #禁止混用 lf 和 crlf 两种换行符，混用后则不能提交代码
        4）git config --global --list # 查看设置生效没

    2. IDEA设置
        1）File -> Settings -> Editor -> Code Style -> Line separator -> Unix and macOS

    3. NotePadd++设置
        1)Settings-Preferences-New Documnet
              - 选择Unix(LF)
  • 下载源码
git clone https://github.com/azkaban/azkaban.git

#ps 如果github下载慢的话可以去码云上面下载
码云地址：https://gitee.com/mirrors/azkaban?_from=gitee_search

git clone https://gitee.com/mirrors/azkaban.git

#ps，下载后找随便检验下两个脚本或者配置文件，使用记事本打开，看文件分隔符是否是LF，如下图就行

  • 切换分支
git tag #查看所有tag

git checkout 3.80.0 #切换版本，我这儿选择的3.80.0版本进行编译的
  • 修改修改build.gradle文件(添加aliyun maven仓库)
buildscript {
  repositories {
    maven { url 'https://maven.aliyun.com/repository/public/' }#这段是我加的阿里云maven仓库
    mavenCentral()
    /*#maven { url 'https://plugins.gradle.org/m2/'} #注释掉本来的maven仓库*/
  }
  dependencies {
    classpath 'com.cinnober.gradle:semver-git:2.2.3'
    classpath 'net.ltgt.gradle:gradle-errorprone-plugin:0.0.14'
  }
}
 
allprojects {
  apply plugin: 'jacoco'
 
  repositories {
    maven { url 'https://maven.aliyun.com/repository/public/' }
    mavenCentral()
    mavenLocal()
  }
}
  • 编译
./gradlew build installDist -x test 
#该项目根目录下自带的gradlew，是gradle4.6版本的，可直接用，不需要额外装gradle环境
#-x test 跳过单元测试
  1. 编译报错1：如下图，原因是因为包没下载下来，解决办法就是去本地仓库D:/mvnRepos/org/xerial/snappy/snappy-java/1.1.2.4删除了，之后重新执行./gradlew build installDist -x test编译命令，直到成功显示

  • 编译完成后将下面的4个模块里面的build/distributions/下将tar包拷贝到服务器上的/opt/env/azkaban-3.80.0目录下(没有此目录的话使用mkdir -p /opt/env/azkaban-3.80.0创建就行)

 

 

 

安装

环境准备

  • 添加azkaban用户组和用户
groupadd azkaban 

useradd -r -g azkaban azkaban
  • mysql创建azkaban数据库、并授权
mysql> create database azkaban;

mysql> create user 'azkaban'@'%' identified by 'azkaban';

mysql> grant all on azkaban.* to 'azkaban'@'your ip' identified by 'azkaban';

mysql> flush privileges;

安装azkaban-web

  • 导入相关azkaban数据
mysql> source /opt/env/azkaban-3.80.0/azkaban-db-3.80.0/create-all-sql-3.80.0.sql
  • 配置keystore
cd azkaban-web-server-3.80.0

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

#ps：以下密码都设为azkaban
输入密钥库口令:  
密钥库口令太短 - 至少必须为 6 个字符
输入密钥库口令:  
再次输入新口令: 
您的名字与姓氏是什么?
[Unknown]:  
您的组织单位名称是什么?
[Unknown]:  
您的组织名称是什么?
[Unknown]:  
您所在的城市或区域名称是什么?
[Unknown]:  
您所在的省/市/自治区名称是什么?
[Unknown]:  
该单位的双字母国家/地区代码是什么?
[Unknown]:  
CN=cao, OU=parllay, O=fenghuotai, L=beijing, ST=beijing, C=CN是否正确?[否]:  Y
输入 <jetty> 的密钥口令
	(如果和密钥库口令相同, 按回车): 
完成后会在当前目录下生成一个keystore文件

 

  • 配置 conf/azkaban.properties
vim conf/azkaban.properties 
#内容如下
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager

# 路径一定要写绝对路径
user.manager.xml.file=/opt/env/azkaban/azkaban-web-3.80.0/conf/azkaban-users.xml
# Loader for projects路径一定要写绝对路径
executor.global.properties=/opt/env/azkaban/azkaban-web-3.80.0/conf/global.properties
azkaban.project.dir=projects

# database type
database.type=mysql
mysql.port=3306
mysql.host=your mysql server ip
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=truststore
jetty.trustpassword=azkaban

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=
mail.host=

# 邮件
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

# JMX stats
jetty.connector.stats=true
executor.connector.stats=true

# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Number of executions to be displayed
azkaban.display.execution_page_size=16
azkaban.use.multiple.executors=true

# Azkaban Ramp Feature Configuration
#Ramp Feature Related
azkaban.ramp.enabled=true
azkaban.ramp.status.polling.enabled=true
azkaban.ramp.status.polling.interval.min=30
azkaban.ramp.status.push.interval.threshold=15
azkaban.ramp.status.pull.interval.threshold=100
  • 用户设置
vim conf/azkaban-users.xml

<azkaban-users>
	<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
	<user username="metrics" password="metrics" roles="metrics"/>
	<user username= "admin" password="admin" roles="admin,metrics" /> #加这一行，可以用admin登陆
	<role name="admin" permissions="ADMIN" />
	<role name="metrics" permissions="METRICS"/>
</azkaban-users>
  • 添加mysql驱动包
cp mysql-connector-java-5.1.41-bin.jar /opt/env/azkaban-3.80.0/azkaban-web-server-3.80.0/lib/
  • 启动web界面
./bin/start-web.sh
ps：如果访问不了，可能是防火墙没关

# systemctl stop firewalld.service

安装Azkaban Executor Server

  • 解压
tar -zxvf azkaban-exec-server-3.80.0.tar.gz
  • 修改配置文件
cd azkaban-exec-server-3.80.0

vim conf/azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=yourip
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
  • 添加mysql驱动包
cp mysql-connector-java-5.1.41-bin.jar /opt/env/azkaban-3.80.0/azkaban-exec-server-3.80.0/lib/
  • 启动,一定要在bin目录下面启动
bin/azkaban-executor-start.sh

Demo测试

  • 测试
 cat > /opt/azkaban-exec-server-3.80.0/projects/foo.job
 type=command
 command=echo "Hello World"

 cat > /opt/azkaban-exec-server-3.80.0/projects/bar.job
 type=command
 dependencies=foo
 command=echo bar

 7z a foobar.zip *.job    

 foobar zip在azkaban的前端上传执行结果如下:
  • 效果图

 

 

 

 

 

子毅168
关注
专栏目录
Azkaban的安装
Javatomcat12138的博客
12-03 1114
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban由三个关键组件构成： 1、AzkabanWebServer：AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户
Azkaban安装部署
muxlong的博客
01-31 652
AzkabanWebServer中的三个主要元素：project、job、flowproject：工程/项目job：任务，project中包含的需要执行的任务flow：工作流，由各个job之间的依赖关系所组成。
Azkaban的安装部署
qq_55906442的博客
05-28 4268
介绍： Azkaban 是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。整体包括三部分webserver、dbserver、executorserver。 ​ Azkaban是由Linkedin开源的一个Java项目，批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ​ Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 Azkaban的功能特点 1.兼容所有版本的 Had...
azkaban安装
最新发布
yangye1225的博客
09-10 1020
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：- Web用户界面- 方便上传工作流- 方便设置任务之间的关系- 调度工作流- 认证/授权(权限的工作)- 能够杀死并重新启动工作流- 模块化和可插拔的插件机制- 项目工作区- 工作流和任务的日志记录和审计。
Azkaban部署
冰冰冰
02-04 412
文章目录第1章 Azkaban部署1.1 集群模式安装1.1.1 上传tar包1.1.2 配置MySQL1.1.3 配置Executor Server1.1.4 配置Web Server 第1章 Azkaban部署 1.1 集群模式安装 1.1.1 上传tar包 1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop105的/opt/software路径 [
azkaban安装教程
qq_44962429的博客
03-01 594
一.azkaban solo seerver模式 1.优点: (1)易于安装：无需MySQL示例。它将H2打包为主要的持久存储。 (2)易于启动：Web服务器和执行程序服务器都在同一个进程中运行。 (3)全功能：它包含所有Azkaban功能。可以正常使用，也可以为其安装插件。 2.环境准备 CentOS7系统(关闭防火墙)，JDK1.8以上版本。 3.安装部署 (1)解压缩azkaban solo...
Azkaban大数据技术安装部署教程
"该文档详细介绍了大数据技术中的Azkaban工具，包括其安装部署过程以及选择MySQL作为数据库的原因。Azkaban是一个工作流调度系统，常用于管理大数据处理任务。" Azkaban是大数据领域中一个重要的工作流调度工具，...
Azkaban 安装部署&常见错误
wzj_wp的博客
02-20 1190
Solo Server 源码下载/解压 3.81.0地址 [wzj@hadoop001 software]$ tar -xzvf 3.81.0.tar.gz -C ~/app/ [wzj@hadoop001 azkaban]$ ls az-core az-flow-trigger-dependency-plugin az-intellij-style.xml azkaban-exe...
尚硅谷大数据技术：Azkaban 2.5.0安装部署教程
本文档主要介绍了Azkaban的安装部署过程，特别是针对2.5.0版本的配置步骤。" 在安装Azkaban之前，需要准备相应的软件包，包括Azkaban Web服务器、Executor服务器、SQL脚本以及MySQL的库文件。这些文件应当被拷贝到...
Azkaban安装教程：编译与部署详解
你可以将war文件部署到一个支持Java的应用服务器（如Tomcat），并配置Azkaban的web.xml和数据库连接等信息，完成安装。 Azkaban的安装过程涉及版本选择、环境配置、项目构建和错误排查。确保服务器满足Azkaban的...
Azkaban 配置
JackLi31742的博客
10-05 578
下载地址:http://azkaban.github.io/downloads.html a) azkaban-web-server-2.5.0.tar.gz b) azkaban-executor-server-2.5.0.tar.gz c) azkaban-sql-script-2.5.0.tar.gz d) mysql-libs.zip 2) 选择 Mysql 作为 Azkaban 数据库，...
Azkaban安装
黑冰[̲̅V̲̅I̲̅P̅]
07-11 376
Azkaban
azkaban3.9.0安装教程详细版
h952520296的博客
10-27 2073
为了实现定时调用代码方法而又不想使用while循环然后sleep定时长的这么low的方法。显然azkaban是个不错的选择 步骤 0.安装要求 1.你的jdk版本至少在1.8（含）以上 2.你电脑已经安装MySQL，azkaban目前只认MySQL。 为了方便我们用root用户来装 1.下载 网站为https://github.com/azkaban/azkaban/releases下载。如下图选择你喜欢版本。选择tar.gz 2.生成安装包 安装azkaban必须先...
安装Azkaban
weixin_34345753的博客
04-08 131
Azkaban 是由 Linkedin 开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban 定义了一种 KV 文件格式来建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。 Azkaban 官网地址：http://azkaban.github.io/Azkaban 的下载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值