Azkaban

1、Azkaban

官网：https://azkaban.github.io/
Azkaban是一款开源工作流管理器

Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业

Azkaban通过作业依赖性解决订单，并提供易于使用的Web用户界面来维护和跟踪您的工作流程

工作流作业：
flume->hdfs->mr->hive建表->导入load data脚本
自动化调度

2、Azkaban安装部署

1）解压
首先将压缩包放进/root/hd/azkaban里面
azkaban-executor-server-2.5.0.tar.gz –>executor
azkaban-sql-script-2.5.0.tar.gz –>azkaban-2.5.0
azkaban-web-server-2.5.0.tar.gz –>server
tar -zxvf *.tar.gz

2）进入mysql创建azkaban库，然后将解压好的脚本导入
create database azkaban;
use azkaban;
source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

3）生成证书（https生成器）
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
（回车，不用填，到那个CN=Unknown那行下面有个判断，输入y，后面一行继续回车）
将keystore移动到server文件夹下

4）时间同步配置
任务调度，所以和本地时间保持一致
开启交互窗口：
sudo date -s ”
hwclock -w

5)修改server端配置文件
cd /root/hd/azkaban/server/conf
vi azkaban.properties

 
 

  
  # Azkaban Personalization Settings

 
 
 
 

  
  azkaban.
  
  name=Test

 
 
 
 

  
  azkaban.
  
  label=My Local Azkaban

 
 
 
 

  
  azkaban.
  
  color=#FF3601

 
 
 
 

  
  azkaban.default.servlet.
  
  path=/index

 
 
 
 

  
  web.resource.
  
  dir=web/

 
 
 
 

  
  # 时区

 
 
 
 

  
  default.timezone.
  
  id=Asia/Shanghai

 
 
 
 

  
  

 
 
 
 

  
  #Azkaban UserManager class

 
 
 
 

  
  # 用户权限管理默认类

 
 
 
 

  
  user.manager.
  
  class=azkaban.user.XmlUserManager

 
 
 
 

  
  # 用户配置

 
 
 
 

  
  user.manager.xml.
  
  file=conf/azkaban-users.xml

 
 
 
 

  
  

 
 
 
 

  
  # Loader for projects

 
 
 
 

  
  #配置文件所在位置

 
 
 
 

  
  executor.global.
  
  properties=conf/global.properties

 
 
 
 

  
  azkaban.project.
  
  dir=projects

 
 
 
 

  
  

 
 
 
 

  
  # azkaban目前只支持mysql

 
 
 
 

  
  database.
  
  type=mysql

 
 
 
 

  
  mysql.
  
  port=3306

 
 
 
 

  
  # 当前主机名

 
 
 
 

  
  mysql.
  
  host=hsiehchou121

 
 
 
 

  
  mysql.
  
  database=azkaban

 
 
 
 

  
  mysql.
  
  user=root

 
 
 
 

  
  mysql.
  
  password=root

 
 
 
 

  
  # 最大连接数

 
 
 
 

  
  mysql.
  
  numconnections=100

 
 
 
 

  
  

 
 
 
 

  
  # Velocity dev mode

 
 
 
 

  
  velocity.dev.
  
  mode=false

 
 
 
 

  
  

 
 
 
 

  
  # Azkaban Jetty server properties.

 
 
 
 

  
  # 最大线程数

 
 
 
 

  
  jetty.
  
  maxThreads=25

 
 
 
 

  
  jetty.ssl.
  
  port=8443

 
 
 
 

  
  jetty.
  
  port=8081

 
 
 
 

  
  jetty.
  
  keystore=keystore

 
 
 
 

  
  jetty.
  
  password=123456

 
 
 
 

  
  jetty.
  
  keypassword=123456

 
 
 
 

  
  jetty.
  
  truststore=keystore

 
 
 
 

  
  jetty.
  
  trustpassword=123456

 
 
 
 

  
  

 
 
 
 

  
  # Azkaban Executor settings

 
 
 
 

  
  executor.
  
  port=12321

 
 
 
 

  
  

 
 
 
 

  
  # mail settings

 
 
 
 

  
  mail.
  
  sender=@qq.com

 
 
 
 

  
  mail.
  
  host=smtp.qq.com

 
 
 
 

  
  job.failure.
  
  email=

 
 
 
 

  
  job.success.
  
  email=

 
 
 
 

  
  

 
 
 
 

  
  lockdown.create.
  
  projects=false

 
 
 
 

  
  

 
 
 
 

  
  cache.
  
  directory=cache

 
 

azkaban-users.xml

 
 

  
  <azkaban-users>

 
 
 
 
    
  
  <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />

 
 
 
 
    
  
  <user username="metrics" password="metrics" roles="metrics"/>

 
 
 
 
    
  
  <!--增加这一行  role管理员权限:admin-->

 
 
 
 
    
  
  <user username="admin" password="admin" roles="admin,metrics"/> 

 
 
 
 

  
  

 
 
 
 
    
  
  <role name="admin" permissions="ADMIN" />

 
 
 
 
    
  
  <role name="metrics" permissions="METRICS"/>

 
 
 
 

  
  </azkaban-users>

 
 

6)修改excutor端配置文件
azkaban.properties

 
 

  
  # Azkaban

 
 
 
 

  
  # 时区

 
 
 
 

  
  default.timezone.
  
  id=Asia/Shanghai

 
 
 
 

  
  

 
 
 
 

  
  # Azkaban JobTypes Plugins

 
 
 
 

  
  # 插件

 
 
 
 

  
  azkaban.jobtype.plugin.
  
  dir=plugins/jobtypes

 
 
 
 

  
  

 
 
 
 

  
  #Loader for projects

 
 
 
 

  
  executor.global.
  
  properties=conf/global.properties

 
 
 
 

  
  azkaban.project.
  
  dir=projects

 
 
 
 

  
  

 
 
 
 

  
  database.
  
  type=mysql

 
 
 
 

  
  mysql.
  
  port=3306

 
 
 
 

  
  mysql.
  
  host=hsiehchou121

 
 
 
 

  
  mysql.
  
  database=azkaban

 
 
 
 

  
  mysql.
  
  user=root

 
 
 
 

  
  mysql.
  
  password=root

 
 
 
 

  
  mysql.
  
  numconnections=100

 
 
 
 

  
  

 
 
 
 

  
  # Azkaban Executor settings

 
 
 
 

  
  # 最大线程数

 
 
 
 

  
  executor.
  
  maxThreads=50

 
 
 
 

  
  executor.
  
  port=12321

 
 
 
 

  
  executor.flow.
  
  threads=30

 
 

3、azkaban实战

hdfs->hive建表->导入

1）job1.job

 
 

  
  type=
  
  command

 
 
 
 

  
  command=
  
  echo 
  
  'Hello World!'

 
 

打包成zip包上传到azkaban，执行

2）job2(a.job和b.job)
a.job

 
 

  
  type=
  
  command

 
 
 
 

  
  command=
  
  echo 
  
  'li'

 
 

b.job

 
 

  
  type=command

 
 
 
 

  
  dependencies=a

 
 
 
 

  
  command=echo 
  
  '666'

 
 

打包成zip包上传到azkaban，执行

3）startyarn.job

 
 

  
  type=command

 
 
 
 

  
  command=/root/hd/hadoop-
  
  2.8.
  
  4/sbin/start-yarn.sh

 
 

打包成zip包上传到azkaban，执行

4）mapreduce.job

 
 

  
  type=command

 
 
 
 

  
  command=
  
  /root/hd
  
  /hadoop-2.8.4/bin
  
  /hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /wc /wc/
  
  out

 
 

打包成zip包上传到azkaban，执行

5）hive操作
hive.sql

 
 

  
  use 
  
  default;

 
 
 
 

  
  create 
  
  table azhive(
  
  id 
  
  int, 
  
  name 
  
  string) 
  
  row 
  
  format 
  
  delimited 
  
  fields 
  
  terminated 
  
  by 
  
  '\t';

 
 
 
 

  
  load 
  
  data inpath 
  
  '/hsiehchou.txt' 
  
  into 
  
  table azhive;

 
 

hivef.job

 
 

  
  type=
  
  command

 
 
 
 

  
  command=/root/hd/hive/bin/hive 
  
  -f 
  
  'hive.sql'

 
 

打包成zip包上传到azkaban，执行