Azkaban-安装配置

1 Azkaban安装部署

Azkaban是一个任务调度、管理系统，可以帮用户管理、调度各种运算任务！
（可以调任何任务，只要你的任务能用脚本启动）
Azkaban类似的产品还有很多，比如oozie，airflow

1.1 准备工作

Azkaban Web服务器

azkaban-web-server-2.5.0.tar.gz

Azkaban执行服务器

azkaban-executor-server-2.5.0.tar.gz

MySQL
目前azkaban只支持 mysql作为元数据管理系统,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root.

下载地址:http://azkaban.github.io/downloads.html

1.2 安装

将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行

1.3 配置linux系统的时区

注：先配置好服务器节点上的时区
1、先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
2、拷贝该时区文件，覆盖系统本地时区配置

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

检验是否生效： date
Tue Mar 24 17:25:45 CST 2020

1.4 配置linux系统的时间同步

每台机器都安装一个ntp时间同步客户端

yum install ntp -y

然后，配置/etc/ntp.conf ，换掉默认的时间服务器为，微软时间服务器：

server time.windows.com
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com

强制手动同步一次：
ntpdate time.windows.com

1.5 azkaban web服务器安装

解压azkaban-web-server-2.5.0.tar.gz
命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz

1.6 azkaban 执行服器安装

解压azkaban-executor-server-2.5.0.tar.gz
命令:tar –zxvf azkaban-executor-server-2.5.0.tar.gz

1.7 元数据库初始化

azkaban元数据初始化脚本导入

解压: azkaban-sql-script-2.5.0.tar.gz
命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz

将解压后的mysql 脚本,导入到mysql中:

操作方式1： 命令行
进入mysql

mysql> create database azkaban18;
mysql> use azkaban;
Database changed
mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;

操作方式2：navicat
为azkaban建一个库