最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~
介绍
Azkaban2新功能:
1、Web UI
2、简单工作流上传
3、更容易设置job的依赖关系
4、调度工作流
5、权限设置
6、Kill和restart工作流
7、模块化和插件化
8、日志和设计工作流和job
搭建
Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:
l MySQL
l Azkaban Web Server - 是一个和web接口一样的充当控制器功能的Jetty Server
l Azkaban Executor Server - 用于提交工作流
下载
需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。
下载地址:
https://github.com/azkaban/azkaban2/wiki/Download-Packages
搭建数据库
现在,Azkaban只能用MySQL进行数据存储。
l 下载azkaban-sql-script tar包。
l 运行包中的mysql脚本来创建数据库表。
获取JDBC驱动jar包
下载地址:http://www.mysql.com/downloads/connector/j/
搭建Web Server
下载并安装
1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。
2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这 个目录下的外部引入jar包。
在 conf 目录下,会有以下几个文件:
文件 | 描述 |
azkaban.properties | 用于Azkanba运行时的属性配置 |
global.properties | 全局静态属性,作为共享属性共享给每一个工作流程和job |
azkaban-users.xml | 用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用 |
搭建SSL
Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:
http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:
jetty.keystor-keystore jetty.password=password jetty.keypassword=password jetty.truststore=keystore jetty.trustpassword=password |
搭建UserManager
Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:
l user.manager.class=azkaban.user.XmlUserManager
l User.manager.xml.file=conf/azkaban-users.xml
接下来是一个azkaban-users.xml文件的例子:
<azkaban-users> |
也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager。
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.port=12321 executor.host=<url> |
搭建Web Client
Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口 号和连接的数量。
颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。
安装可视化插件
之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。
为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。
运行Web Server
Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。
-------------------------------------------------------------------------------------------------------
Azkaban Web Server设置
一般属性
Property | Description | Default |
azkaban.name | 将会在Azkaban UI中展示出来的azkaban的名字 | Local |
azkaban.label | 一个描述Azkaban实例的标签 | My Local Azkaban |
azkaban.color | 设置Azkaban UI颜色的一个十六进制的值 | #FF3601 (red) |
web.resource.dir | 设置UI的css和javascript文件存放的路径 | src/web |
default.timezone | 默认的时区 | America/Los_Angeles |
user.manager.class | 用户管理用户权限的 user manager。默认是XmlUserManager | azkaban.user.XmlUserManager |
mail.sender | 邮件发送的地址 |
|
mail.host | 邮件server主机地址 |
|
mail.user | 邮件server用户名 |
|
mail.password | 邮件server密码 |
|
azkaban.should.proxy | 被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 | false |
proxy.keytab.location | 被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除 |
|
proxy.user | 代理用户 |
|
viewer.plugin.dir | 可视化插件被安装到的目录 | plugins/viewer |
Jetty 属性
Property | Description | Default |
jetty.maxThreads | 最大请求线程数 | 25 |
jetty.ssl.port | Ssl端口号 | 8443 |
jetty.keystore | The keystore file | keystore |
jetty.password | Jetty password | password |
jetty.keypassword | The keypassword | password |
jetty.truststore | The trust store | keystore |
jetty.trustpassword | The trust password | password |
Mysql连接属性
Property | Description | Default |
database.type | 数据库类型,现在只支持mysql | mysql |
mysql.port | Mysql数据库的端口号 | 3306 |
mysql.host | Mysql数据库的主机地址 | localhost |
mysql.database | Mysql数据库名称 | azkaban2 |
mysql.user | mysql user | azkaban |
mysql.password | mysql password | password |
mysql.numconnections | Azkaban webclient可以开放给数据库的连接数量 | 100 |
Execurot Sercer属性
Properties | Description | Default |
executor.port | azkaban executor server端口号 | 12321 |
executor.host | azkaban executor server主机地址 | localhost |
设置Executor Server
下载和安装
1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。
2、Copy jdbc驱动jar包到./extlib目录下。
File | Description |
azkaban.properties | Azkaban运行时属性 |
global.properties | 全局静态属性,作为共享属性共享给每一个工作流程和job |
搭建数据库
为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties 文件中的一下属性:
database.type=mysql |
配置主机和端口号
配置azkaban.properties中的属性:
executor.maxThreads=50 executor.port=12321 |
-----------------------------------------------------------------------------
转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051