Azkaban

Azkaban

Azkaban介绍&安装:

​ Azkaban是Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程;

​ Azkaban使用job配置文件建立任务之间的相互依赖关系;并提供一个易于使用的web用户界面维护和跟踪你的工作流.

• Azkaban的功能特点:
  
  • 提供功能清晰,简单医用的web UI页面
  • 提供job配置文件快速建立任务之间的相互依赖关系
  • 基于Java开发,代码结构清晰,易于二次开发
  • 提供模块化和可插拔的插件机制,原生支持command,Pig,Hive,Hadoop,Java等
• Azkaban的组成模式:

• mysql 服务器:用于存储项目、日志或者执行计划之类的信息
• web 服务器:使用 Jetty 对外提供 web 服务，使用户可以通过 web 页面方便管理

• executor 服务器:负责具体的工作流的提交、执行。

• 两种部署方式:

  单机模式(solo server mode)

单机模式下AzkabanWebServer和AzkabanExecutorServer运行在同一个进程中,进程名是AzkabanSingleServer.可以使用自带的H2数据库或者配置mysql数据库,适合小规模的应用场景.

单机模式中AzkabanSingleServer只是将AzkabanWebServer和AzkabanExecutorServer合并在一起启动而已

​ 集群模式(cluster server mode)

集群模式使用mysql数据库,该模式下AzkabanWebServer和AzkabanExecutorServer运行在不同进程中,适合大规模数据的应用场景

• Azkaban的安装部署:

  • 分别上传安装包并解压

  • azkaban-web-2.5.0 重名名为:webServer
    azkaban-executor-2.5.0 重名名为:executorServer

  • azkaban-2.5.0(mysql)

azkaban脚本导入:

---

mysql>create database azkaban;

mysql>use azkaban;

mysql>source /export/server/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

---

• 创建SSH配置(https):

命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA

运行此命令后,会提示输入当前生成 keystor 的密码及相应信息,输入的密码请劳记,信息如下:

---

输入 keystore 密码：123123

再次输入新密码:123123

您的名字与姓氏是什么？

[Unknown]：

您的组织单位名称是什么？

[Unknown]：

您的组织名称是什么？

[Unknown]：

您所在的城市或区域名称是什么？

[Unknown]：

您所在的州或省份名称是什么？

[Unknown]：

该单位的两字母国家代码是什么

[Unknown]： CN

CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？

[否]： y

输入的主密码

（如果和 keystore 密码相同，按回车）：

再次输入新密码:

完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 拷贝到 azkaban web 服务器根目录中.如:cp keystore azkaban/webserver

---

• 配置文件:

注：先配置好服务器节点上的时区先生成时区配置文件 Asia/Shanghai，用交互式命令 tzselect 即可拷贝该时区文件，覆盖系统本地时区配置:cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

• 修改webServer中conf目录下的azkaban.properties

---

#Azkaban Personalization Settings
azkaban