azkaban安装步骤

Azkaban 概述

1. Open - source Workflow Manager
2. 批处理工作流，用于跑Hadoop的job
3. 提供了一个易于使用的用户界面来维护和跟踪你的工作流程

Azkaban
Relational Database(MySQL) --关系型数据库
AzkabanWebServer --有个界面，传工作流
AzkabanExecutorServer

关系型数据库，存储状态信息

How does AzkabanWebServer use the DB？

项目管理 --项目 ，权限，上传的文件
执行工作状态信息
运行以前的工作i信息，以前日志的信息

How does the AzkabanExecutorServer use the DB？
把工作流配置数据库,从数据库获取信息
获取或者更新数据执行
日志信息

AzkabanWebServer使用mysql主要有一下用途：

1、Project Management - 管理项目和项目上传文件
2、Executing Flow State - 跟踪执行流程和运行他们的Executor
3、Previous Flow/Jobs：搜索之前的job执行以及访问他们的日志
4、Scheduler - 保存调度任务的状态
5、SLA(服务等级协议) - 保存sla规则

AzkabanExecutorServer使用mysql主要有一下用途：
1、Access the project - 从数据库中查找项目文件
2、Executing Flows/Jobs - 查找和更新正在执行的流的数据
3、Logs - 记录job和flow输出的日志
4、dependency（交流） - 如果一个flow运行在不同的executor，那么他会把状态存储在数据库中

AzkabanWebServer是azkaban中最主要的管理者，他主要处理项目管理、认证、调度、监控执行器，它提供了一个web UI界面

Azkaban运行模式
solo-server
数据信息存储在H2 ==> Mysql
webserver和execserver是运行在同一个进程中
the heavier weight two server mode
数据信息存储在Mysql，在生产上一定要做主备
webserver和execserver是运行在不同的进程中的
distributed multiple-executor mode

more 比较
most 最高级

一、安装步骤

第一步骤
#下载
https://github.com/azkaban/azkaban/releases?after=3.42.0

yum install -y gcc gcc-c++ git

第二步骤

第三步骤

[root@localhost wrapper]# pwd
/root/azkaban-3.40.0/gradle/wrapper

#把包拷贝到这个目录里面
[root@localhost ~]# cp gradle-4.1-all.zip /root/azkaban-3.40.0/gradle/wrapper

[root@localhost wrapper]# vim gradle-wrapper.properties

第四步骤
[root@hadoop000 azkaban-3.40.0]# ./gradlew build -x test
[root@localhost azkaban-3.40.0]# ./gradlew build installDist -x test

[root@hadoop000 azkaban-3.40.0]# ll
azkaban-common 常用的工具类

/root/azkaban-3.40.0/azkaban-solo-server/build/distributions
[root@hadoop000 distributions]# pwd
/root/azkaban-3.40.0/azkaban-web-server/build/distributions
[root@hadoop000 distributions]# pwd
/root/azkaban-3.40.0/azkaban-exec-server/build/distributions

二、Azkaban solo server环境部署 单机部署

[root@hadoop000 distributions]# pwd
/root/azkaban-3.40.0/azkaban-solo-server/build/distributions

[root@hadoop000 distributions]# tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ~/app/

lib 目录 编译过后的依赖包

#如何启动该
[root@hadoop000 azkaban-solo-server-0.1.0-SNAPSHOT]# bin/azkaban-solo-start.sh

去页面访问 192.169.194.149：8081

#停止程序
[root@hadoop000 azkaban-solo-server-0.1.0-SNAPSHOT]# bin/azkaban-solo-shutdown.sh

修改下内容

[root@hadoop000 conf]# vim azkaban.properties 
[root@hadoop000 conf]# pwd
/root/app/azkaban-solo-server-0.1.0-SNAPSHOT/conf

[root@hadoop000 conf]# vim azkaban-users.xml 
[root@hadoop000 conf]# pwd
/root/app/azkaban-solo-server-0.1.0-SNAPSHOT/conf
#添加的语句  账户和密码
<user password ="000000" roles="admin" username="pk"/>

#官网也告诉我们了
https://azkaban.readthedocs.io/en/latest/getStarted.html#

在一次启动
[root@hadoop000 azkaban-solo-server-0.1.0-SNAPSHOT]# bin/azkaban-solo-start.sh

#文件都放到这个里面了
/home/spark/Documents