Azkaban的安装部署
1. 准备工作
1) Azkaban Web 服务器 azkaban-web-2.5.0.zip
2) Azkaban 执行服务器 azkaban-executor-2.5.0.zip
3) MySQL 脚本 azkaban-sql-script-2.5.0.tar.gz
2.安装MySQL
1) 安装 mysql
这个可以在我的博客中hive的安装那儿找到
2) 修改 MySQL 的编码
vim /usr/share/mysql/my-default.conf 或者 vim /etc/my.cnf
default-character-set=utf8 默认字符集为 utf8
修改好重启 MySQL 即可
3. 配置 MySQL
创建 MySQL 用户 azkaban
Grant all on *.* to azkaban@’%’ identified by ‘azkaban’;
Grant all on *.* to azkaban@’master’ identified by ‘azkaban’
Grant all on *.* to azkaban@’localhost’ identified by‘azkaban’
flush privileges;
exit
登录:mysql -uazkaban -pazkaban
建库:create database azkaban
执行初始化脚本如下:
tar –zxvf azkaban-sql-script-2.5.0.tar.gz
mysql> use azkaban
mysql> source /home/yangxp/Azkaban-2.5.0/ create-all-sql-2.5.0.sql
4. 配置 Azkaban Web Server
1) 解压安装 unzip azkaban-web-2.5.0.zip
2) 上传 mysql 驱动包到 /home/yangxp/Azkaban-web-2.5.0/extlib/ 目录下
3) 此时在/home/yangxp/Azkaban-web-2.5.0/lib/ 下面就有 mysql 的驱动包了
4) 配置 Jetty(Jetty 是一个开源的 servlet 容器 类似 tomcat)https ssl
在 linux 控制输入如下命令
i. keytool -keystore keystore -alias jetty -genkey -keyalg RSA
ii. Enter keystore password: changeit
iii. What is your first and last name? 您的名字与姓氏是什么?
iv. What is the name of your organizational unit?您的组织单位名称是什么?
v. What is the name of your organization?您的组织名称是什么?
vi. What is the name of your City or Locality?您所在的城市或区域名称是什么?
vii. What is the name of your State or Province?您所在的州或省份名称是什么?
viii. What is the two-letter country code for this unit?该单位的两字母国家代码是什
么
ix. Is CN=jetty.mortbay.org, OU=Jetty, O=Mort Bay Consulting Pty. Ltd.,
x. L=Unknown, ST=Unknown, C=Unknown correct?正确吗?
xi. [no]: yes
xii. Enter key password for <jetty>
xiii. (RETURN if same as keystore password): changeit
注意这里 keystore 的密码为 changeit
完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 考贝到 azkaban
web 服务器根目录中如: cp ./keystore azkaban/webserver
5) 修改 Azkaban Web Server 下 conf/Azkaban.properties
Vim Azkaban.properties
azkaban.name=Test #服务器UI 名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI 颜色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #默认根 web 目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文
#Loader for projects
executor.global.properties=conf/global.properties # global 配置文件所在位置
azkaban.project.dir=projects
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=192.168.20.200 #数据库连接 IP
mysql.database=azkaban #数据库实例名
mysql.user=azkaban #数据库用户名
mysql.password=oracle #数据库密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Jetty 服务器属性.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL 端口
jetty.port=8081 #Jetty 端口
jetty.keystore=keystore #SSL 文件名
jetty.password=changeit #SSL 文件密码
jetty.keypassword=changeit #Jetty主密码 与 keystorm文件相
同
jetty.truststore=keystore #SSL 文件名
jetty.trustpassword=changeit # SSL 文件密码
# 执行服务器属性
executor.port=12321 #执行服务器端口
#邮件可以自己设置,这里就不进行设置。
5. 配置 Azkaban Executor Server
1) 解压安装 unzip /home/yangxp/ azkaban-executor-2.5.0.zip
2) 进入 conf 目录
vim Azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai #时区
# Azkaban JobTypes Plugins 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql #数据库类型(目前只支持 MySQL 数据库)
mysql.port=3306
mysql.host=master
mysql.database=azkaban
mysql.user=hadoop
mysql.password=hadoop
mysql.numconnections=100 #数据库最大连接数
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
3) 进入 Azkaban Web 服务器 conf 目录 修改 azkaban-users.xml
vim azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
6. 启动 Web Server
1) 启动 Web Server 进入到 azkaban-web-2.5.0 的根目录下,然后输入下面命令:
bin/azkaban-web-start.sh (注意,一定是在 azkaban-web-2.5.0 的根目录下)
2) 访问 Web Server
在浏览器中输入:https://master:8443
可以输入刚刚在 azkaban-users.xml 中配置的用户名和密码
Username:admin
Password:admin
7. 启动执行服务器
进入到 azkaban-executor-2.5.0 目录下
bin/azkaban-executor-start.sh 注意:只能在执行服务器的根目录下执行
在控制台 jps 查看启动进程
8. 启动完成后,在浏览器中输入 https://服务器 IP 地址:8443 ,即可访问 azkaban 服务了.在登
录中输入刚才新的户用名及密码,点击 login