azkaban学习::azkaban安装

---

准备工作

下载源码

进入azkaban官网,点击downloads

https://github.com/azkaban/azkaban
选择在GitHub上下载

点击下载zip文件

github下载速度慢解决办法

上传至虚拟机并解压

[root@master1 azkaban]# yum install lrzsz
[root@master1 azkaban]# rz -be

[root@master1 azkaban]# yum install unzip
[root@master1 azkaban]# unzip azkaban-master.zip 

编译

安装git

[root@master1 ~]# yum install git

在azkaban目录下进行编译

编译命令为:./gradlew build -x test

接下来就是等待它编译完成
编译过程图:

见到BUILD SUCCESSFUL就说明编译成功

安装mysql

[root@master1 ~]# yum install mysql

[root@master1 ~]# rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

[root@master1 ~]# yum install mysql-server 

[root@master1 ~]# yum install mysql-devel  

启动mysql并查看

[root@master1 ~]# systemctl start mysql  
[root@master1 ~]# systemctl status mysql  

初始化azkaban数据库

在mysql中创建azkaban数据库

初始化数据库表

在编译产生后的文件夹中找到下图文件,并进行解压

解压azkaban-db-0.1.0-SNAPSHOT.tar.gz

[root@master1 hadoop]# tar -xzvf azkaban-db-0.1.0-SNAPSHOT.tar.gz -C /usr/hadoop/

找到下列文件

mysql运行

进入MySQL页面

改变数据库use azkaban并source一下下列sql文件

到此azkaban的表就初始化完成了

azkaban配置

生成密钥对和证书

web配置

在azkaban文件夹下找到web-server的文件夹

在下列路径下找到web-server的tar.gz文件并进行解压

修改解压文件夹中的conf/azkaban.properties和azkaban-users.xml文件

[root@master1 conf]# vi azkaban.properties 

修改下图中的三处地方

[root@master1 conf]# vi azkaban-users.xml 

Executor配置

和web配置相同找到文件进行解压

[root@master1 conf]# vi azkaban.properties 

同样修改下列地方

分别启动executor服务器和web服务器

executor服务器

配置文件:

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://localhost:8081
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=Root1234567890!
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.port=12321

在azkaban-exec-server-0.1.0-SNAPSHOT目录下启动exec服务

[root@master1 azkaban-exec-server-0.1.0-SNAPSHOT]# bin/start-exec.sh

通过jps查看服务是否启动

执行完启动命令后会在当前文件夹中产生out文件

查看out文件,出行如下则说明启动成功

web服务器

配置文件:

# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Azkaban Executor settings
executor.host=localhost
executor.port=12321
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=Root1234567890!
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
#azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

激活exector服务

在azkaban的exector的根目录下执行,命令如下

[root@master1 azkaban-exec-server-0.1.0-SNAPSHOT]# curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

启动web服务

在azkaban-web-server-0.1.0-SNAPSHOT文件夹下启动

[root@master1 azkaban-web-server-0.1.0-SNAPSHOT]# bin/start-web.sh 

执行完启动命令后会在当前文件夹中产生out文件

查看out文件,出行如下则说明启动成功

查看UI

若刚刚有ssl过则输入https,若无则输入http,由于我没启动所以输入的是http

账号密码都是azkaban
登录后的界面

使用调度

创建foo.job文件

[root@master1 ~]# touch foo.job
[root@master1 ~]# vi foo.job

创建bar.job文件

[root@master1 ~]# vi bar.job

下载到windows

压缩

将其压缩并改名

在UI中创建项目

点击上传压缩包

执行调度

点击execute按钮立即执行

执行结果

正在执行中

执行结果