azkaban的安装

安装准备

hadoop、hive、sqoop、zookeeper、jdk

安装步骤

1）上传

	azkaban-executor-server-2.5.0.tar.gz
	azkaban-sql-script-2.5.0.tar.gz
	azkaban-web-server-2.5.0.tar.gz

2）解压

tar -xvzf azkaban-executor-server-2.5.0.tar.gz
tar -xvzf azkaban-web-server-2.5.0.tar.gz
tar -xvzf azkaban-sql-script-2.5.0.tar.gz

3）配置环境变量

sudo vi /etc/profile

添加环境配置：
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_EXE_HOME/bin
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban/azkaban-web-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin

添加后保存退出，source一下：
source /etc/profile

4）去mysql中准备azkaban的数据库和表

create database azkaban;
use azkaban;
source /home/hadoop/apps/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

5）生成jettey的数字证书

azkaban的web基于jettey的，相对于Tomcat来说安全性更高一点，认证级别更高一点，登录的过程中需要认证

在azkaban-web-2.5.0目录下执行：
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

6）设置时区

sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

7）修改azkaban的配置文件

1.azkaban-executor

目录：/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf

vi azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai	#默认时区,已改为亚洲/上海 默认为美国

# Azkaban JobTypes Plugins 插件配置，插件所在位置
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
/plugins/jobtypes

#Loader for projects
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
/conf/global.properties	#执行引擎的全局配置文件
azkaban.project.dir=/home/hadoop/projects	#azkaban调度的工程文件夹

database.type=mysql			#数据库类型(目前只支持 mysql)
mysql.port=3306				#数据库端口号
mysql.host=hadoop03			#数据库 IP 地址
mysql.database=azkaban		#数据库实例名
mysql.user=root				#数据库用户名
mysql.password=123456		#数据库密码
mysql.numconnections=100	#最大连接数

# Azkaban Executor settings	
executor.maxThreads=50		#最大线程数
executor.port=12321			#端口号(如修改,请与 web 服务中一致)
executor.flow.threads=30	#线程数

2.azkaban-web

目录：/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf

vi azkaban.properties

#Azkaban Personalization Settings
azkaban.name=Test	#服务器 UI 名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban	#描述
azkaban.color=#FF3601	#UI 颜色
azkaban.default.servlet.path=/index
web.resource.dir=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/web/	#默认根 web 目录
default.timezone.id=Asia/Shanghai	#默认时区,已改为亚洲/上海 默认为美国

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager	#用户权限管理默认类
user.manager.xml.file=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/conf/azka
ban-users.xml	#用户配置

#Loader for projects	# global 配置文件所在位置
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0
/conf/global.properties
azkaban.project.dir=/home/hadoop/projects

database.type=mysql			#数据库类型
mysql.port=3306				#端口号
mysql.host=hadoop03			#数据库连接 IP
mysql.database=azkaban		#数据库实例名
mysql.user=root				#数据库用户名
mysql.password=123456		#数据库密码
mysql.numconnections=100	#最大连接数

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.	服务器属性.
jetty.maxThreads=25			#最大线程数
jetty.ssl.port=8443			#Jetty SSL 端口
jetty.port=8081				#Jetty 端口
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore	#SSL 文件名
jetty.password=hadoop123	#SSL 文件密码(按照自己设置的修改)
jetty.keypassword=hadoop123	#Jetty 主密码 与 keystore 文件相同(按照自己设置的修改)
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore	#SSL 文件名
jetty.trustpassword=hadoop123	# SSL 文件密码

# Azkaban Executor settings	执行服务器属性
executor.port=12321	#执行服务器端口

# mail settings	邮件设置(可选项)
mail.sender=				#发送邮箱
mail.host=					#发送邮箱 smtp 地址
job.failure.email=			#任务失败时发送邮件的地址
job.success.email=			#任务成功时发送邮件的地址

lockdown.create.projects=false

cache.directory=cache		#缓存目录

vi azkaban-users.xml

<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="bd1906" password="hadoop123" roles="admin,metrics"/>
    
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

8）添加derby依赖

目录：/home/hadoop/apps/jdk1.8.0_73/db/lib
将derby的依赖放置到 azkaban-executor和azkaban-web的/lib下

cp derby.jar /home/hadoop/apps/azkaban/azkaban-executor-2.5.0/lib/
cp derby.jar /home/hadoop/apps/azkaban/azkaban-web-2.5.0/lib/

9）启动

web启动命令：
	azkaban-web-start.sh
executor启动命令：
	azkaban-executor-start.sh

web页面访问：https://hadoop03:8443