Azkaban－开源任务调度程序（安装篇）

原文地址：http://www.jianshu.com/p/cc680380ca34

 最近项目迁移到新集群，试试同事推荐的开源任务调度程序－azkaban，azikaban主要用来解决hadoop依赖任务的执行，但是它本身支持linux和java程序，因此适合做小项目的任务调度管理程序。

 

它有三个重要组件：

1 关系数据库（目前仅支持mysql）

2 web管理服务器－AzkabanWebServer

3 执行服务器－AzkabanExecutorServer

 

                                                               图1 组件

开始

Azkaban有三种运行模式：

1 solo server mode：最简单的模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大项目可以采用此模式。

2 two server mode：数据库为mysql，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响

3 multiple executor mode：该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。

我们项目要求不是太高，我这次采用第二种模式，管理服务器、执行服务器分进程，但在同一台主机上。

 

安装

azkaban和官方说的一样，简单易用,先到官网下载相关包并解压，我下载的是：

[sql]  view plain  copy

1. azkaban-executor-server-2.5.0.tar.gz(执行服务器)  
2. azkaban-web-server-2.5.0.tar.gz(管理服务器)  
3. azkaban-sql-script-2.5.0.tar.gz（mysql脚本）  

数据库安装配置

数据库创建

[sql]  view plain  copy

1. #不一定非要命名为'azkaban'  
2. mysql>CREATE DATABASE azkaban;  
3.    
4. #创建用户和密码  
5. mysql>CREATE USER 'username'@'%'IDENTIFIED BY 'password';  
6.    
7. #给用户相关权限  
8. mysql>GRANT SELECT,INSERT,UPDATE,DELETEON <database>.* to '<username>'@'%' WITH GRANT OPTION;  

数据库配置

编辑/etc/my.cnf

[sql]  view plain  copy

1. [mysqld]  
2. max_allowed_packet=1024M  

重启服务器

执行脚本

执行下载包azkaban-sql-script-2.5.0.tar.gz中脚本“create-all-sql”

检查下载包web和executor的lib文件下是否有mysql驱动，若不存在，则拷贝一个

web管理服务器(azkaban-web-2.5.0)

有几个重要目录和配置文件

[sql]  view plain  copy

1. 文件夹        解释  
2. bin           用来存放启动和停止脚本  
3. conf<span style="font-family: Arial, Helvetica, sans-serif;">                    </span>配置文件，最重要的配置azkaban.properties  
4. lib           jar文件，查看是否存在mysql驱动  
5. extlib        扩展lib  
6. plugins       扩展插件，有hdfs、hive、pig等  
7. web           web目录  

配置conf中azkaban.properties，其他默认即可

[sql]  view plain  copy

1. #设置项目名称  
2. azkaban.name=BigData  
3. #设置项目副标题  
4. azkaban.label=besttone  
5. #一定要设置为上海，否则按美国时间执行  
6. default.timezone.id=Asia/Shanghai  
7.   
8. database.type=mysql  
9. mysql.port=3306  
10. mysql.host=localhost  
11. #改为自己的数据库名称  
12. mysql.database=azkaban  
13. #改为自己的数据库账号  
14. mysql.user=azkaban  
15. #改为自己的数据库密码  
16. mysql.password=azkaban_abc  
17.    
18. mail.sender=email账号  
19. mail.host=email服务器  
20. mail.user=email账号  
21. mail.password=email密码  
22.    
23. #Azkaban Jetty 服务设置，先安装此配置，后面再详细介绍生产方法.  
24. jetty.maxThreads=25  
25. jetty.ssl.port=8443  
26. jetty.port=8081  
27. jetty.keystore=web/keystore  
28. jetty.password=besttone  
29. jetty.keypassword=besttone  
30. jetty.truststore=web/truststore  
31. jetty.trustpassword=besttone  

jetty ssl配置

 

jetty ssl keystore生成

[sql]  view plain  copy

1. keytool -genkey -keystore keystore -aliasjetty-azkaban -keyalg RSA -validity 3560  

根据提示输入相关信息，我的密码为besttone，和上面的password对应

[sql]  view plain  copy

1. keytool -export -alias jetty-azkaban-keystore keystore -rfc -file selfsignedcert.cer  

过程中如果要输入密码，请输入之前密码

[sql]  view plain  copy

1. keytool -import -alias certificatekey -fileselfsignedcert.cer -keystore truststore  

这时候在web目录下新建key目录，将生成的keystore，truststore拷贝进去

 

执行启动命令

[sql]  view plain  copy

1. ./bin/azkaban-web-start.sh  

也可以执行nohup，后台运行

[sql]  view plain  copy

1. nohup ./bin/azkaban-web-start.sh &  

关闭命令

[sql]  view plain  copy

1. ./bin/azkaban-web-shutdown.sh  

访问https://localhost:8443

输入账号和密码，都是azkaban，如果要更改，请修改conf/azkaban-users.xml文件

 

至此已经可以看到web管理界面了，下面执行需要启动执行服务器。

ps:如果本地可以执行，远程无法执行，看是否远程服务器禁用8443端口，将8443改为8888即可。

 

3.执行服务器

修改conf/azkaban.properties文件，其他默认

[sql]  view plain  copy

1. default.timezone.id=Asia/Shanghai  
2. database.type=mysql  
3. mysql.port=3306  
4. mysql.host=localhost  
5. mysql.database=azkaban  
6. mysql.user=azkaban  
7. mysql.password=azkaban_abc  

执行脚本，启动执行服务器

[sql]  view plain  copy

1. ./bin/azkaban-executor-start.sh  

也可以执行nohup，后台运行

[sql]  view plain  copy

1. nohup ./bin/azkaban-executor-start.sh &  

关闭命令

[sql]  view plain  copy

1. ./bin/azkaban-executor-shutdown.sh  

4.安装扩展控件

azkaban有很多插件，hdfs、hive、pig等，如有兴趣自行安装，本次项目未用到

http://www.jianshu.com/p/cc680380ca34