工作流程调度器
1. 工作流程调度系统产生背景
一个完整的数据分析系统通常都是由大量任务单元组成 :
shell脚本程序 , java程序 , MapReduce程序 , hive脚本等
各个任务单元之间存在时间先后依赖关系
为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行
2. 工作流程调度实现方式
简单的任务调度 :
直接使用linux的crontab来定义 , 但是缺点较明显 , 无法设置依赖 .
复杂的任务调度 :
自主开发调度平台
使用开源调度系统 , 比如azkaban
, ooize , Zeus等
3. Azkaban调度器
3.1 Azkaban介绍
Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。
Azkaban功能特点
- 提供功能清晰,简单易用的 Web UI 界面
- 提供 job 配置文件快速建立任务和任务之间的依赖关系
- 提供模块化和可插拔的插件机制,原生支持 command、Java、Hive、Pig、Hadoop
- 基于 Java 开发,代码结构清晰,易于二次开发
3.2 Azkaban安装部署
Azkaban 的组成如下:
mysql 服务器:用于存储项目、日志或者执行计划之类的信息
web 服务器:使用 Jetty 对外提供 web 服务,使用户可以通过 web 页面方便管理
executor 服务器:负责具体的工作流的提交、执行。
Azkaban 有两种部署方式:solo server mode 和 cluster server mode。
solo server mode( 单机模式) ):该模式中 webServer 和 executorServer 运行在同一个进程中,进程名是 AzkabanSingleServer。可以使用自带的 H2 数据库或者配置 mysql 数据。该模式适用于小规模的使用。
cluster server mode( 集群模式) ):该模式使用 MySQL 数据库,webServer 和executorServer 运行在不同进程中,该模式适用于大规模应用。
其实在单机模式中,AzkabanSingleServer 进程只是把 AzkabanWebServer 和
AzkabanExecutorServer 合到一起启动而已。
准备工作
Azkaban Web 服务器
azkaban-web-server-2.5.0.tar.gz
Azkaban 执行服务器
azkaban-executor-server-2.5.0.tar.gz
MySQL
本文档中默认已安装好 mysql 服务器。
下载地址:http://azkaban.github.io/downloads.html
上传安装包
将安装包上传到集群,最好上传到安装 hive、sqoop 的机器上,方便命令的执行。
新建 azkaban 目录,用于存放 azkaban 运行程序。
- 解压三个文件并且重命名(可选)
tar –zxvf azkaban-web-server-2.5.0.tar.gz #解压
mv azkaban-web-server-2.5.0 webserver #重命名
tar –zxvf azkaban-executor-server-2.5.0.tar.gz #解压
mv azkaban-executor-server-2.5.0 executor #重命名
tar –zxvf azkaban-sql-script-2.5.0.tar.gz #解压
mv azkaban-2.5.0 sql #重命名
- 首先进入sql , 对其进行初始化
在mysql命令行中执行sql文件用source命令加全路径
进入 mysql
mysql -u root -p*******
mysql> create database azkaban;
mysql> use azkaban;
Database changed
mysql> source /export/servers/azkaban/sql/create-all-sql-2.5.0.sql;
-
安装web服务器
- 创建SSL配置(https)
命令:keytool -keystore keystore -alias jetty -genkey -keyalg RSA
运行此命令后,会提示输入当前生成 keystor 的密码及相应信息,输入的密码请劳记,
信息如下:
输入 keystore 密码:123456
再次输入新密码:123456
您的名字与姓氏是什么?
[Unknown]:
您的组织单位名称是什么?
[Unknown]:
您的组织名称是什么?
[Unknown]:
您所在的城市或区域名称是什么?
[Unknown]:
您所在的州或省份名称是什么?
[Unknown]:
该单位的两字母国家代码是什么
[Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
[否]: y
输入<jetty>的主密码 : 123456
(如果和 keystore 密码相同,按回车):
再次输入新密码:123456
完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 拷贝
到 azkaban web 服务器根目录中.如:cp keystore azkaban/webserver
移动也可以mv keystore webserver/
配置文件
cd webserver/conf
vi azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Coco #服务器 UI 名称,用于服务器上方显示的名字
azkaban.label=Coco az #描述
azkaban.color=#FF3601 #UI 颜色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #默认根 web 目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文
#Loader for projects
executor.global.properties=conf/global.properties # global 配置文件所在位置
azkaban.project.dir=projects
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接 IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=123 #数据库密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL 端口
jetty.port=8081 #Jetty 端口
jetty.keystore=keystore #SSL 文件名
jetty.password=123456 #SSL 文件密码
jetty.keypassword=123456 #Jetty 主密码 与 keystore 文件相同
jetty.truststore=keystore #SSL 文件名
jetty.trustpassword=123456 # SSL 文件密码
# Azkaban Executor settings
executor.port=12321 #执行服务器端口
# mail settings
mail.sender= #发送邮箱
mail.host= #发送邮箱 smtp 地址
job.failure.email= #任务失败时发送邮件的地址
job.success.email= #任务成功时发送邮件的地址
lockdown.create.projects=false
cache.directory=cache #缓存目录
配置管理员的用户名和密码
vi azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<!--************************-->
<user username="admin" password="admin" roles="admin,metrics" />
<!--************************-->
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
- 安装executor
vi azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai #时区修改
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql #数据库类型(目前只支持 mysql)
mysql.port=3306 #数据库端口号
mysql.host=localhost #数据库 IP 地址
mysql.database=azkaban # 数据库修改
mysql.user=root #用户名
mysql.password=123 #密码
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与 web 服务中一致)
executor.flow.threads=30 #线程数
-
启动
- web服务器
在 azkaban web 服务器目录下执行启动命令
bin/azkaban-web-start.sh
注:必须在 web 服务器根目录运行
- 执行服务器
在执行服务器目录下执行启动命令
bin/azkaban-executor-start.sh
注:只能在执行服务器根目录运行
启动完成后,在浏览器(建议使用谷歌浏览器)中输入 https://服务器 IP 地址:8443 ,即可访问 azkaban 服务了.在登录中输入刚才新的户用名及密码(都是admin),点击 login.
访问时会报没有证书认证 , 此时我们点击高级继续访问即可
3.3 Azkaban实战
Command类型单一job示例
- 创建job描述文件
#command.job
type=command
command=echo hello
-
将job资源打成
zip
文件===>command1.zip -
通过azkaban的web管理平台创建project并上传job压缩包
- 创建Project
-
上传zip包
-
启动执行该 job
[注意 : ] 这里只要是一个任务 , 不管几个文件都打包成一个zip包即可
Command类型多job工作流flow
- 创建有依赖关系的多个job描述
第一个job : foo.job
# foo.job
type=command
command=echo foo
第二个 job:bar.job 依赖 foo.job
# bar.job
type=command
dependencies=foo
command=echo bar
- 将所有 job 资源文件打到一个 zip 包中
- 在azkaban的web管理界面创建工程上传zip包即可
- 启动工作流flow
HDFS操作任务
- 创建job描述文件
# fs.job
type=command
command=/export/servers/hadoop-2.7.4/bin/hadoop fs -mkdir /azaz666
- 将 job 资源文件打包成 zip 文件
- 通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包
- 启动执行该 job
MapReduce任务
mr任务依然可以使用command的job类型来执行
- 创建 job 描述文件,及 mr 程序 jar 包(示例中直接使用 hadoop 自带的 example jar)
# fs.job
type=command
command=/export/servers/hadoop-2.7.4/bin/hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 4 8
- 将所有 job 资源文件打到一个 zip 包中
-
在 azkaban 的 web 管理界面创建工程并上传 zip 包
-
启动 job
hive脚本任务
- 创建 job 描述文件和 hive 脚本
Hive脚本 : test.sql
use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select id from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;
- Job 描述文件:hivef.job
# hivef.job
type=command
command=/export/servers/hive/bin/hive -f 'test.sql'
- 将所有 job 资源文件打到一个 zip 包中创建工程并上传 zip 包,启动 job
- 注意提前创建好目录
-
azkaban 因为支持原生的linux command
- 所以说任何一个只要可以通过shell命令行执行的软件 都可以转化成为azkaban来调度。
type=command command=sh xxx.sh xxx.sh 具体要做的事
-
总结azkaban工作流程
- 配置job文件(注意文件的第一行头信息)
- 把job配置连同其他资源一起打成.zip压缩包
- 页面上创建工程project
- 上传.zip压缩包
- execute/schedule