azkaban注册mysql资源报警_Azkaban安装过程分享-附《azkaban技术分享手册》下载

以azkaban2.5为例：

1、MySQL安装与配置

sudo service mysqld start

mysql -u root -p

a、为azkaban单独创建一个数据库：

CREATE DATABASE azkaban;

b、单独创建一个数据库用户

为了简单，我直接用root/hadoop%123，在生产上大家最好单独建一个用户

c、为azkaban建表：

下载azkaban-sql-script-2.5.0.tar.gz，解压缩

执行create-all-sql-2.5.0.sql

mysql -u root -phadoop%123 -Dazkaban

d、准备jdbc驱动---默认带了

下载jdbc驱动包，webserver和executor-server都需要他:

放入到webserver和executor-server的extlib目录下(2.5版是自带的)

2、配置Azkaban Web Server

Azkaban Web Server handles project management, authentication, scheduling and trigger of executions.

a、安装Web Server

下载解压缩

b、Getting KeyStore for SSL

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

为了简单，所有密码用同一个(比如用root%123)

完成上述工作后，将在当前目录生成 keystore 证书文件，将 keystore 考贝到 azkaban web 目录中

修改conf/azkaban.properties

# Azkaban Jetty server properties.

jetty.maxThreads=25

jetty.ssl.port=8443

jetty.port=8081

jetty.keystore=keystore

jetty.password=root%123

jetty.keypassword=root%123

jetty.truststore=keystore

jetty.trustpassword=root%123

c、Setting up the DB

修改conf/azkaban.properties

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=hadoop%123

mysql.numconnections=100

d、Setting up the UserManager

修改conf/azkaban.properties

user.manager.class=azkaban.user.XmlUserManager

user.manager.xml.file=conf/azkaban-users.xml

e、Running Web Server

bin/azkaban-web-start.sh

bin/azkaban-web-shutdown.sh

https://10.128.7.241:8443/

3、 配置Azkaban Executor Server

a、安装 Azkaban Executor Server

下载azkaban-executor-server-2.5.0.tar.gz，解压缩即可

b、Setting up the DB

修改conf/azkaban.properties

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=hadoop%123

mysql.numconnections=100

c、Configuring AzabanWebServer and AzkabanExecutorServer clients

The Executor server needs to be setup with a port, and the AzabanWebServer will need to know what this port is.

修改conf/azkaban.properties

# Azkaban Executor settings

executor.maxThreads=50

executor.port=12321

executor.flow.threads=30

这里要注意以下，两种不同的模式，配置是不一样的：

Single Executor Mode：

executor.port=12321就可以拉(只要跟AzabanWebServer的azkaban.properties下的executor.port保持一致即可)

d、Running Executor Server

bin/azkaban-exec-start.sh

bin/azkaban-exec-shutdown.sh

4、多Executor Server模式：

a、启动Multiple Executor Mode

修改AzabanWebServer的azkaban.properties的以下属性：

azkaban.use.multiple.executors=true

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1

azkaban.executorselector.comparator.Memory=1

azkaban.executorselector.comparator.LastDispatched=1

azkaban.executorselector.comparator.CpuUsage=1

b、同时，你还得在多个节点上运行Executor Server

c、把多个Executor Server的host和port写到数据库里

注意：当前版本还没有UI管理接口去管理executor，只能把多个executor写到数据库的executors表，webserver就能找到他们拉。

insert into executors(host,port) values("EXECUTOR_HOST",EXECUTOR_PORT);

5、配置Azkaban插件

阿兹卡班设计的思路的是使非核心功能基于插件，所以核心功能非常轻便，安装升级方便，而且很容易扩展到不同的操作系统。

web server插件：

viewer plugins：

that enable custom web pages to add features to Azkaban. Some of the known implementations include HDFS filesystem viewer, and Reportal.

trigger plugins：

that enable custom triggering methods.

user manager plugin ：

that enables custom user authentication methods. For instance, in LinkedIn we have LDAP based user authentication.

alerter plugins ：

that enable different alerting methods to users, in addition to email based alerting.

executor server插件：

pluggable job type executors on AzkabanExecutorServer, such as job types for hadoop ecosystem components.

a、User Manager Plugins

修改webserver的azkaban.properties:

user.manager.class=MyUserManagerClass

把插件包含的jar放到plugins directory.