文章目录
Azkaban2.5.0 安装
1 Azkaban 运行模式
Azkaban 有三个重要组件:
1 关系型数据库(目前仅支持MySQL)
2 Web管理服务器-Azkaban Web Server
3 执行服务器-Azkaban Executor Server
Azkaban有三种运行模式:
1 solo server mode:单机模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大的项目可以采用此模式。
2 two server mode:数据库为 MySQL,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响。
3 multiple executor mode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。
在这里我们使用第二种模式,管理服务器、执行服务器分进程,但在同一台主机上。
在这里我们使用第二种模式,管理服务器、执行服务器分进程,但在同一台主机上。
2 Azkaban2.5.0 安装详解
将安装文件上传到集群,最好上传到安装 Hive、Sqoop 的机器上,方便命令的执行。并最好放在同一个安装目录下,用于存放源安装文件。
2.1 下载安装包
下载地址: http://azkaban.github.io/downloads.html
版本号:
Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz
Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz
Azkaban 初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz
2.2 上传并解压
将 Azkaban 安装包上传到 Linux 服务器上,解压到相应目录下:
[ww@master ~]$ mkdir azkaban-2.5.0
//将安装包放在azkaban-2.5.0的目录下
[ww@master ~]$ mv azkaban-executor-server-2.5.0.tar.gz azkaban-2.5.0/
[ww@master ~]$ mv azkaban-sql-script-2.5.0.tar.gz azkaban-2.5.0/
[ww@master ~]$ mv azkaban-web-server-2.5.0.tar.gz azkaban-2.5.0/
[ww@master ~]$ cd azkaban-2.5.0/
//解压安装包
[ww@master azkaban-2.5.0]$ tar -zxvf azkaban-sql-script-2.5.0.tar.gz
[ww@master azkaban-2.5.0]$ tar -zxvf azkaban-web-server-2.5.0.tar.gz
[ww@master azkaban-2.5.0]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz
2.3 创建 Azkaban数据库
//用hadoop用户登录mysql
[ww@master azkaban-2.5.0]$ mysql -uhadoop -phadoop
//为Azkaban创建数据库,其中数据库名字不一定是azkaban
mysql> create database azkaban;
Query OK, 1 row affected (0.00 sec)
2.4 将azkaban sql表结构导入MySQL
[ww@master ~]$ cd azkaban-2.5.0/azkaban-2.5.0/
[ww@master azkaban-2.5.0]$ ls
create.active_executing_flows.sql create.projects.sql
create.active_sla.sql create.project_versions.sql
create-all-sql-2.5.0.sql create.properties.sql
create.execution_flows.sql create.schedules.sql
create.execution_jobs.sql create.triggers.sql
create.execution_logs.sql database.properties
create.project_events.sql update-all-sql-2.1.sql
create.project_files.sql update-all-sql-2.2.sql
create.project_flows.sql update.execution_logs.2.1.sql
create.project_permissions.sql update.project_properties.2.1.sql
create.project_properties.sql
[ww@master azkaban-2.5.0]$ pwd
/home/ww/azkaban-2.5.0/azkaban-2.5.0
Database changed
//执行这个脚本
mysql> source /home/ww/azkaban-2.5.0/azkaban-2.5.0/create-all-sql-2.5.0.sql;
//至此,mysql就有了azkaban sql的表结构
mysql> show tables;
+------------------------+
| Tables_in_azkaban |
+------------------------+
| active_executing_flows |
| active_sla |
| execution_flows |
| execution_jobs |
| execution_logs |
| project_events |
| project_files |
| project_flows |
| project_permissions |
| project_properties |
| project_versions |
| projects |
| properties |
| schedules |
| triggers |
+------------------------+
15 rows in set (0.00 sec)`
2.5 创建 jetty ssl配置
进入Azkaban的安装目录:
[ww@master azkaban-2.5.0]$ pwd
/home/ww/azkaban-2.5.0
[ww@master azkaban-2.5.0]$ keytool -keystore -alias jetty -genkey -keyalg RSA
//RSA是一种加密方式
运行此命令后,会提示输入当前生成 keystore 的密码及相应信息,输入的密码要劳记,信息如下:
以防忘记密码,可以将两个密码设置成同样的(“123456”)
以上配置完成之后会在当前目录生成一个keystore文件。
将 keystore 拷贝到 Azkaban Web 服务器目录中。
[ww@master azkaban-2.5.0]$ cp keystore /home/ww/azkaban-2.5.0/azkaban-web-2.5.0
2.6 Azkaban Web 服务器配置
2.6.1 修改配置文件 azkaban.properties
进入 Azkaban Web 服务器安装目录 conf 目录下:
[ww@master azkaban-2.5.0]$ cd azkaban-web-2.5.0/conf/
[ww@master conf]$ ls
azkaban.properties azkaban-users.xml
[ww@master conf]$ vim azkaban.properties
2.6.2 用户配置 azkaban-users.xml
进入 Azkaban Web 服务器安装目录 conf 目录下:
[ww@master azkaban-web-2.5.0]$ cd conf/
[ww@master conf]$ ls
azkaban.properties azkaban-users.xml
[ww@master conf]$ vim azkaban-users.xml
2.7 Azkaban executor 执行服务器配置
进入Azkaban executor执行服务器目录 conf 目录下修改azkaban.properties配置文件:
[ww@master azkaban-2.5.0]$ cd azkaban-executor-2.5.0/conf/
[ww@master conf]$ ls
azkaban.private.properties azkaban.properties global.properties
[ww@master conf]$ vim azkaban.properties
2.8 启动 Azkaban Web 服务器
在 Azkaban Web 服务器目录下执行启动命令:
[ww@master azkaban-2.5.0]$ cd azkaban-web-2.5.0/
[ww@master azkaban-web-2.5.0]$ ls
azkaban.version bin conf extlib keystore lib plugins web
[ww@master azkaban-web-2.5.0]$ bin/azkaban-web-start.sh
2.9 启动 Azkaban executor 执行服务器
另外开启一个终端,在Azkaban executor 执行服务器目录下执行启动命令:
[ww@master azkaban-2.5.0]$ cd azkaban-executor-2.5.0/
[ww@master azkaban-executor-2.5.0]$ ls
azkaban.version bin conf extlib lib plugins
[ww@master azkaban-executor-2.5.0]$ bin/azkaban-executor-start.sh
3 验证
启动完成后,在浏览器中输入https://服务器IP地址:8443 ,即可访问
Azkaban 服务了。在登录中输入管理员用户名及密码,点击 Login。
主页信息:
如果看到Azkaban的主页,说明已经将Azkaban安装成功了