Azkaban2.5.0部署安装(含安装包)

1.Azkaban简介

Azkaban是什么?

  • Azkaban是一套简单的任务调度服务,整体包括三部分webserver、dbserver、executorserver;

  • Azkaban是linkin的开源项目,开发语言为Java;

  • Azkaban是由Linkedin开源的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程;

  • Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

2.所需要的安装包及驱动包:

需要3个安装包和一个驱动包

azkaban-sql-script-2.5.0.tar.gz

azkaban-web-server-2.5.0.tar.gz

azkaban-executor-server-2.5.0.tar.gz

mysql-connector-java-5.1.47.jar

下载的位置为:

链接:百度网盘
提取码:14az 

3.Azkaban 安装前的时区配置:

#查看时区
cat /etc/sysconfig/clock

#修改时区设置
vi /etc/sysconfig/clock
#配置的信息如下:
ZONE=Asia/Shanghai
UTC=true
ARC=false

#修改时区:时区文件都在/usr/share/zoneinfo,复制相应时区覆盖/etc/localtime即可
cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

4.azkaban-sql-script 配置:

#新建文件夹
mkdir -p ~/app/azkaban
#解压安装包
tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C ~/app/azkaban/

#创建用户、分配权限并执行脚本
#开启mysql
service mysqld start
#进入mysql
mysql -uroot -p
#创建数据库azkaban
CREATE DATABASE azkaban;
#创建用户
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
#分配权限
GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO 'azkaban'@'%' WITH GRANT OPTION;
#刷新
flush privileges;
#退出
quit;

#以azkaban用户登录数据库
mysql -uazkaban -pazkaban
#查看数据库
show databases;
#使用azkaban
use azkaban;
#导入脚本
source ~/app/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
#退出Mysql
quit;

5.Azkaban Web Server 安装:

#解压缩文件
tar -zxvf azkaban-web-server-2.5.0.tar.gz -C ~/app/azkaban/
#查看数据库版本
mysql -V
#根据数据库版本上传对应的mysql-connector-java,解压下载的安装包即可
/root/packges/Azkaban
#将上述驱动包上传到 ~/app/azkaban/azkaban-web-2.5.0/extlib/
cp mysql-connector-java-5.1.47.jar ~/app/azkaban/azkaban-web-2.5.0/extlib/
#进入到~/app/azkaban/azkaban-web-2.5.0/extlib/中,然后执行
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
#配置相关信息
keytool -importkeystore -srckeystore keystore -destkeystore keystore -deststoretype pkcs12
#接下来需要配置密码之类的,请记住这些密码,因为下面的配置会用到,这里就不上图了




#移动keystore 到~/app/azkaban/azkaban-web-2.5.0/
mv keystore ~/app/azkaban/azkaban-web-2.5.0/

#修改配置文件 (conf/azkaban.propreties)
vi /root/app/azkaban/azkaban-web-2.5.0/conf/azkaban.properties
#配置的信息如下:
azkaban.name=Job Tasks
azkaban.label=mysteel workflow
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/root/app/azkaban/azkaban-web-2.5.0/web/
default.timezone.id=Asia/Shanghai

user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/root/app/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml

database.type=mysql
mysql.port=3306
mysql.host=10.11.1.157
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8071
jetty.keystore=/root/app/azkaban/azkaban-web-2.5.0/keystore
jetty.password=你的密码
jetty.keypassword=你的密码
jetty.truststore=/root/app/azkaban/azkaban-web-2.5.0/keystore
jetty.trustpassword=你的密码

# 配置用户权限
vi azkaban-users.xml
#配置的内容如下
<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        <user username="admin" password="admin" roles="admin,metrics"/>  
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

6.Azkaban Executor Server安装:

#解压缩文件
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C ~/app/azkaban/
#修改配置文件 (conf/azkaban.propreties)
vi /root/app/azkaban/azkaban-executor-2.5.0/conf/azkaban.properties
#修改的内容如下:
default.timezone.id=Asia/Shanghai

database.type=mysql
mysql.port=3306
mysql.host=10.11.1.157
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

7.登录

#开启数据库
service mysqld start

#开启和关闭azkaban命令
~/app/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh
~/app/azkaban/azkaban-web-2.5.0/bin/azkaban-web-shutdown.sh

#输入以下地址登录
https://你的主机ip:8443   出现界面安装成功

 

 

 

版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 (1)创建数据库 create database azkaban; (2)mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; (3)导入数据 use azkaban; source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果和密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件,引入mysql的依赖包 (1)将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server (2)修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径,否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件: log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值