azkaban安装

最新推荐文章于 2021-10-18 18:17:30 发布

mn_kw

最新推荐文章于 2021-10-18 18:17:30 发布

阅读量2k

点赞数

分类专栏： azkaban

本文链接：https://blog.csdn.net/mn_kw/article/details/90545975

版权

azkaban 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

首先将我们的安装包下载下来，总共是4个，一个是web，一个是executor,一个是solo，一个是sql

然后解压到我们的linux机器上

安装第一步：首先配置mysql

1. 为Azkaban创建一个数据库：

mysql> CREATE DATABASE azkaban;

2. 为Azkaban创建一个数据库用户:

mysql> CREATE USER '<username>'@'%' IDENTIFIED BY '<password>';

出现上述原因：

错误是由于你曾经升级过数据库，升级完后没有使用

mysql_upgrade升级数据结构造成的。

解决办法：

使用mysql_upgrade命令
root@localhost ~]# mysql_upgrade -u root -p 13456

3. 为用户赋予Azkaban数据库的增删查改的权限：

mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON <database>.* to '<username>'@'%' WITH GRANT OPTION;
mysql>grant all privileges on *.* to 'haha'@'%' identified by 'password' with grant option;

4. 将azkaban sql表结构导入mysql

该文件位于解压后的 azkaban-db 目录下。（一定是带all的sql文件）

mysql> use azkaban;
mysql> source /opt/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sq

第二步：配置keystore

在azkaban-web-server目录下执行这条命令，在执行完这条命令之后，会生成一个文件：keystore 并将该生成的文件复制到azkaban-web-server的bin目录下

[root@hadoop1 azkaban-web-server-0.1.0-SNAPSHOT]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password:  
Re-enter new password: 
What is your first and last name?
  [Unknown]:  firstName
What is the name of your organizational unit?
  [Unknown]:  companyName
What is the name of your organization?
  [Unknown]:  groupName
What is the name of your City or Locality?
  [Unknown]:  shanghai
What is the name of your State or Province?
  [Unknown]:  shanghai
What is the two-letter country code for this unit?
  [Unknown]:  CN
Is CN=firstName, OU=companyName, O=groupName, L=shanghai, ST=shanghai, C=CN correct?
  [no]:  Y        

Enter key password for <jetty>
    (RETURN if same as keystore password):  
Re-enter new password: 
[root@hadoop1 azkaban-web-server-0.1.0-SNAPSHOT]#

keystore 并将该生成的文件复制到azkaban-web-server的bin目录下

[root@hadoop1 azkaban-web-server-0.1.0-SNAPSHOT]# cp keystore bin/

以上配置完成之后会在当前目录生成一个keystore文件。以下配置会用到。

第三步：配置web的azkaban.properties

# Azkaban Personalization Settings
azkaban.name=THE_BIGDATA
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/azkaban3.65/azkaban-web-server/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/azkaban3.65/azkaban-web-server/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/opt/azkaban3.65/azkaban-web-server/conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
#jetty.use.ssl=false
#jetty.maxThreads=25
#jetty.port=8081
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Azkaban Executor settings
executor.port=12321

#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
注意:
配置的默认时区是：default.timezone.id=America/Los_Angeles 修改为：default.timezone.id=Asia/Shanghai

相对路径改为绝对路径
user.manager.xml.file=conf/azkaban-users.xml
executor.global.properties=conf/global.properties
azkaban.jobtype.plugin.dir=/opt/azkaban/azkaban-web-server-0.1.0-SNAPSHOT/plugins/jobtypes

修改start-web.sh 将我们的log输出文件改成logs/下

第四步：用户设置

进入 azkaban web 服务器 conf 目录, azkaban-users.xml ，管理用户：

第五步：Azkaban executor Server 端的配置

修改azkaban.properties配置文件和web相同

第六步：启动执行服务器（这里也会出现web启动出现的问题，相同处理）:

在这种模式下，先要启动exec-server，再启动web-server

如果显示没有executor那么就需要手动将数据库中executors的active改为1

这里注意在配置azkaban.properties得时候需要加azkaban.jobtype.plugin.dir=plugins/jobtypes这一项一定要配置，并且创建文件夹，不然会报错，

总结几个坑

1．第一坑

web.resource.dir项的值要使用绝对路径，否则web页面会没有美丽的界面。
user.manager.xml.file项的值要使用绝对路径，否则启动的时候会报找不到文件的错误

2．第二坑：邮箱预警的坑

mail.sender、mail.host、mail.user、mail.password这四项每一项配置都不能少，端口可以不配置，而且mail.sender和mail.user的值是一样的，少一项或者配错一项都会报出错误，错误信息如下：

2018/12/28 15:56:01.187 +0800 ERROR [EmailMessage] [Azkaban] Connecting to SMTP server failed, attempt: 0
javax.mail.AuthenticationFailedException: 500 Error: bad syntax

        at com.sun.mail.smtp.SMTPTransport$Authenticator.authenticate(SMTPTransport.java:823)
        at com.sun.mail.smtp.SMTPTransport.authenticate(SMTPTransport.java:756)
        at com.sun.mail.smtp.SMTPTransport.protocolConnect(SMTPTransport.java:673)
        at javax.mail.Service.connect(Service.java:295)
        at azkaban.utils.JavaxMailSender.connect(JavaxMailSender.java:34)
        at azkaban.utils.EmailMessage.connectToSMTPServer(EmailMessage.java:220)
        at azkaban.utils.EmailMessage.retryConnectToSMTPServer(EmailMessage.java:230)
        at azkaban.utils.EmailMessage.sendEmail(EmailMessage.java:213)
        at azkaban.utils.Emailer.sendEmail(Emailer.java:220)
        at azkaban.utils.Emailer.alertOnSuccess(Emailer.java:153)
        at azkaban.executor.selector.ExecutionControllerUtils.alertUser(ExecutionControllerUtils.java:123)
        at azkaban.executor.ExecutionFinalizer.finalizeFlow(ExecutionFinalizer.java:98)
        at azkaban.executor.RunningExecutionsUpdater.updateExecutions(RunningExecutionsUpdater.java:131)
        at azkaban.executor.RunningExecutionsUpdaterThread.run(RunningExecutionsUpdaterThread.java:54)

在网上看到一个说这个错误信息解决方法的，要改源码，其实是配置信息写错了。

3．第三坑

azkaban.jobtype.plugin.dir=plugins/jobtypes这一项一定要配置，并且创建文件夹，不然会报错，错误信息如下：

2018/12/28 15:50:30.898 +0800 ERROR [FlowTriggerScheduler] [Azkaban] unable to get scheduled flow triggers
java.lang.NullPointerException
        at azkaban.flowtrigger.quartz.FlowTriggerScheduler.getScheduledFlowTriggerJobs(FlowTriggerScheduler.java:132)
        at azkaban.webapp.servlet.FlowTriggerServlet.handlePage(FlowTriggerServlet.java:140)
        at azkaban.webapp.servlet.FlowTriggerServlet.handleGet(FlowTriggerServlet.java:55)
        at azkaban.webapp.servlet.LoginAbstractAzkabanServlet.doGet(LoginAbstractAzkabanServlet.java:123)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:668)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:770)
        at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
        at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:401)
        at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
        at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
        at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
        at org.mortbay.jetty.Server.handle(Server.java:326)
        at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
        at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)
        at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)
        at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
        at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
        at org.mortbay.jetty.bio.SocketConnector$Connection.run(SocketConnector.java:228)
        at org.mortbay.jetty.security.SslSocketConnector$SslConnection.run(SslSocketConnector.java:713)
        at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.j

或者报native executor not 存在

4．第四坑

Multiple Executor的几项必须配置，不然的话会报出以下错误：

2018/12/28 15:43:28.406 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2018/12/28 15:43:28.406 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.IllegalArgumentException: azkaban.use.multiple.executors must be true. Single executor mode is not supported any more.
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.checkMultiExecutorMode(ExecutorManager.java:240)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:229)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:155)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.start(ExecutorManager.java:168)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:235)
2018/12/28 15:43:28.407 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:226)

5．第五坑

如果web启动报错，没有活跃得executor，那么需要去数据库中手动修改native状态为1

第七步：配置报警

1.需要在azkaban.properties中加入以下配置

# mail settings
mail.sender=xxxx@163.com
mail.host=smtp.163.com
mail.user=xxxx@163.com
mail.password=XXXX

这里需要注意的是可能新申请的邮箱不可以设置成为sender邮箱

设置邮箱必须开启客户端授权密码，这里passwork就是授权密码

在发送邮件的时候会出现

　　•554 DT:SPM 发送的邮件内容包含了未被许可的信息，或被系统识别为垃圾邮件。请检查是否有用户发送病毒或者垃圾邮件；

错误，这个时候我们只需要将我们的发送邮件人加上自己就可以了

2.配置邮件接收者：

在任务流Flow的最后一个.job中文件中添加如下内容#任务执行失败发送邮件，多个接收邮件人之间用“,”分隔
failure.emails=xxxx@126.com,xxxx@163.com
#任务执行成功发送邮件
success.emails=xxxx@126.com
#任务执行完成，无论成功还是失败发送邮件
notify.emails=xxxxx@126.com

azkaban加入重试

在.job文件中，添加如下命令：

retries=12
retry.backoff=300000  #代表重试间隔时间

azkaban中加入依赖

在job中加入dependencies=

azkaban设置多少个任务执行

在Azkaban executor的conf/azkaban.properties中配置：

**executor.flow.threads 当前可以运行的flow的数量。默认为30
flow.num.job.threads 每个flow中并发运行的job数。默认为10**

azkaban选择默认的执行executor的一个原则

在选择调度一个WorkFlow到Azkaban集群中的某个Executor Server时，需要比较Executor Server的如下4个指标：

能够运行WorkFlow的剩余容量，数值越大越优先
剩余内存用量，数值越大越优先
最近分配Flow的时间，数值越大越优先
CPU使用用量，数值越小越优先

mn_kw

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
azkaban安装

首先将我们的安装包下载下来，总共是4个，一个是web，一个是executor,一个是solo，一个是sql然后解压到我们的linux机器上安装第一步：首先配置mysql1. 为Azkaban创建一个数据库：mysql> CREATE DATABASE azkaban;2. 为Azkaban创建一个数据库用户:mysql> CREATE USER '<...
复制链接

扫一扫