Azkaban

最新推荐文章于 2020-10-22 19:50:54 发布

Glace.♥

最新推荐文章于 2020-10-22 19:50:54 发布

阅读量499

点赞数

分类专栏： azkaban

本文链接：https://blog.csdn.net/LULU_lulu666/article/details/103392229

版权

本文详细介绍了Azkaban的下载安装过程，包括解压、配置MySQL、时间同步、启动Web服务器和执行服务器。此外，还展示了Azkaban的实战应用，包括Command类型的任务、HDFS操作、MapReduce、HIVE脚本任务等，覆盖了多种工作流案例。

摘要由CSDN通过智能技术生成

一、下载安装

一、解压安装

1）将 Azkaban Web 服务器、Azkaban 执行服务器和 MySQL 拷贝到 hdp-8虚拟机(需要与mysql）的 /root/apps/目录下

新建一个文件夹

[root@hdp-3 ~]# cd apps
[root@hdp-3 ~]# mkdir azkaban

tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /root/apps/azkaban

[root@hdp-3 ~]# unzip azkaban-executor-2.5.0.zip
-bash: unzip: 未找到命令

没有unzip,yum安装

[root@hdp-3 ~]# yum install unzip

[root@hdp-3 ~]# unzip azkaban-executor-2.5.0.zip

[root@hdp-3 ~]# unzip azkaban-web-2.5.0.zip

[root@hdp-3 ~]# mv azkaban-executor-2.5.0 /root/apps/azkaban
[root@hdp-3 ~]# mv azkaban-web-2.5.0 /root/apps/azkaban

[root@hdp-3 ~]# cd azkaban
[root@hdp-3 azkaban]# ll
总用量 4
drwxr-xr-x. 2 root root 4096 12月  4 18:34 azkaban-2.5.0
drwxr-xr-x. 7 root root   92 12月  3 2015 azkaban-executor-2.5.0
drwxr-xr-x. 8 root root  103 12月  3 2015 azkaban-web-2.5.0

2）目前 azkaban 只支持 mysql，需安装 mysql 服务器，本文档中默认已安装好 mysql 服务器，并建立了 root用户，密码 grace。
2.1）生成 keystore 的密码及相应信息

[root@hdp-3 ~]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令:  
密钥库口令太短 - 至少必须为 6 个字符
输入密钥库口令:  
再次输入新口令: 
您的名字与姓氏是什么?
  [Unknown]:  
您的组织单位名称是什么?
  [Unknown]:  
您的组织名称是什么?
  [Unknown]:  
您所在的城市或区域名称是什么?
  [Unknown]:  
您所在的省/市/自治区名称是什么?
  [Unknown]:  
该单位的双字母国家/地区代码是什么?
  [Unknown]:  CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN是否正确?
  [否]:  y

输入 <jetty> 的密钥口令
        (如果和密钥库口令相同, 按回车):  
再次输入新口令: 

Warning:
JKS 密钥库使用专用格式。建议使用 "keytool -importkeystore -srckeystore keystore -destkeystore keystore -deststoretype pkcs12" 迁移到行业标准格式 PKCS12。

2.2）将 keystore 拷贝到 azkaban web 服务器根目录中

[root@hdp-3 ~]# mv keystore /root/apps/azkaban/azkaban-web-2.5.0

3) 时间同步配置
先配置好服务器节点上的时区
3.1）如果在 /usr/share/zoneinfo/ 这个目录下不存在时区配置文件 Asia/Shanghai，就要用 tzselect 生成。

[root@hdp-3 azkaban-web-2.5.0]# tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.
 1) Africa
 2) Americas
 3) Antarctica
 4) Arctic Ocean
 5) Asia
 6) Atlantic Ocean
 7) Australia
 8) Europe
 9) Indian Ocean
10) Pacific Ocean
11) none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country.
 1) Afghanistan          18) Israel            35) Palestine
 2) Armenia          19) Japan         36) Philippines
 3) Azerbaijan          20) Jordan            37) Qatar
 4) Bahrain          21) Kazakhstan        38) Russia
 5) Bangladesh          22) Korea (North)     39) Saudi Arabia
 6) Bhutan          23) Korea (South)     40) Singapore
 7) Brunei          24) Kuwait            41) Sri Lanka
 8) Cambodia          25) Kyrgyzstan        42) Syria
 9) China          26) Laos          43) Taiwan
10) Cyprus          27) Lebanon           44) Tajikistan
11) East Timor          28) Macau         45) Thailand
12) Georgia          29) Malaysia          46) Turkmenistan
13) Hong Kong          30) Mongolia          47) United Arab Emirates
14) India          31) Myanmar (Burma)       48) Uzbekistan
15) Indonesia          32) Nepal         49) Vietnam
16) Iran          33) Oman          50) Yemen
17) Iraq          34) Pakistan
#? 9
Please select one of the following time zone regions.
1) Beijing Time
2) Xinjiang Time
#? 1
The following information has been given:
    China
    Beijing Time
Therefore TZ='Asia/Shanghai' will be used.
Local time is now:    Wed Jun 14 09:16:46 CST 2017.
Universal Time is now:    Wed Jun 14 01:16:46 UTC 2017.
Is the above information OK?
1) Yes
2) No
#? 1

3.2）拷贝该时区文件，覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.3）集群时间同步
sudo date -s ‘2019-12-04 18:23:45’
hwclock -w

4) 配置文件
4.1 Web 服务器配置
1）进入 azkaban web 服务器安装目录 conf 目录，打开 azkaban.properties 文件

[root@hdp-3 conf]# cd /root/apps/azkaban/azkaban-web-2.5.0/conf

[root@hdp-3 conf]# vi azkaban.properties 
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=America/Los_Angeles

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=password
jetty.keypassword=password
jetty.truststore=keystore
jetty.trustpassword=password

# Azkaban Executor settings
executor.port=12321
"azkaban.properties" 49L, 1022C
#Azkaban Personalization Settings
azkaban.name=