实战如何玩转azkaban（安装及使用）

一、azkaban是什么

Azkaban是一个批处理工作流作业调度程序，在LinkedIn上创建，用于运行Hadoop作业。Azkaban通过作业依赖项解决排序问题，并提供一个易于使用的web用户界面来维护和跟踪工作流。

二、oozie和azkaban的比较：

1、共同优点：

都提供优美的可视化操作界面，工具实现托拉拽

2、oozie和azkaban的区别：

oozie:
	权限控制不好  没有
	重 配置比较繁琐的
	调度机制比较完善的 
	配置  xml
	支持高可用
azkaban：
	有完善的权限控制 
	相对来说  轻
	调度机制没有oozie完善的  90% 
	配置  properties
	azkaban 3.0之前   不支持高可用的  3.0之后的版本支持的

三、常用的调度机制：

基于时间定时
基于时间间隔
基于事件驱动

四、azkaban的安装

4.1安装准备：

azkaban：能够调度的任务类型  shell jar war hive  sqoop mapreduce spark ...
保证需要调度的任务类型的环境都是正常的
hadoop 
jdk 
sqoop 
hive 

4.2安装版本：

2.5 

4.3安装节点：

安装一个节点 
这个节点 可以访问  hive hadoop  sqoop的客户端的
hadoop03 节点 

4.4安装步骤：

azkaban-executor… azkaban的核心驱动包 驱动任务执行的
azkaban-web… 优美界面 便于用户操作的 配置任务 新建任务 添加任务的依赖关系
azkaban-sql… azkaban的sql脚本 创建关系型数据库对应的表和库的

1）上传
2）解压
tar -xvzf azkaban-executor-server-2.5.0.tar.gz
tar -xvzf azkaban-web-server-2.5.0.tar.gz
tar -xvzf azkaban-sql-script-2.5.0.tar.gz

3）配置环境变量
export AZKABAN_WEB=/home/hadoop/apps/azkaban/azkaban-web-2.5.0
export AZKABAN_EXE=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB/bin:$AZKABAN_EXE/bin

source /etc/profile

4)生成数字校验证书
jetty 验证的
命令：在哪一个目录 在哪一个目录生成数字证书 当前目录下生成的
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

切换到 azkaban-web-2.5.0 目录下
执行上面的命令

5）检查时区
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

6）准备azkaban 调度的关系型数据库中的表
在mysql中 执行 azkaban中的sql脚本

创建一个azkaban数据 库
create database azkaban;
切换数据库
use azkaban;
执行sql脚本
source /home/hadoop/apps/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

7)修改azkaban的配置文件
1–》executor的相关配置文件
/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf
azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai

#Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/plugins/jobtypes

#Loader for projects
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/hadoop/projects

database.type=mysql
mysql.port=3306
mysql.host=hdp03
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100

#Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

2–》web的相关配置文件
/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf
azkaban.properties
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/web/
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml

#Loader for projects
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/hadoop/projects

database.type=mysql
mysql.port=3306
mysql.host=hdp03
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100

#Velocity dev mode
velocity.dev.mode=false

#Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
jetty.password=hadoop123
jetty.keypassword=hadoop123
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
jetty.trustpassword=hadoop123

#Azkaban Executor settings
executor.port=12321

#mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

azkaban-users.xml

    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>

8)启动azkaban
azkaban-executor-start.sh
azkaban-web-start.sh

报错：
Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40 缺少derby依赖

将derby.jar 拷贝到 azkaban-executor-2.5.0/lib azkaban-web-2.5.0/lib
cd /home/hadoop/apps/jdk1.8.0_73/db/lib
cp derby.jar /home/hadoop/apps/azkaban/azkaban-executor-2.5.0/lib/
cp derby.jar /home/hadoop/apps/azkaban/azkaban-web-2.5.0/lib/
9)页面访问
https://hadoop03:8443

添加任务 本地写好
调度任务 .job结尾的文件
#command.job
type=command
command= echo “hello”

任务上传的时候必须打成zip的包，job文件必须在zip的根目录下