Azkaban-2.5.0的安装和配置

最新推荐文章于 2021-12-23 10:08:50 发布
最新推荐文章于 2021-12-23 10:08:50 发布
阅读量884 收藏
点赞数
分类专栏： 大数据 文章标签： 数据库 hadoop linkedin mysql azkaban
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/looc_246437/article/details/77772406
版权

　　Azkaban是由LinkedIn开发的调度工具，可以用于调度Hadoop中的相互依赖的Job。有时候，在hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。
　　Azkaban有三个重要的组件构成：
　　关系型数据库(MySQL)
　　AzkabanWebServer
　　AzkabanExecutorServer
三个组件之间的关系如下：
这里写图片描述

准备

  • 1.搭建好的Hadoop分布式集群
  • 2.
    azkaban-executor-server-2.5.0.tar.gz
    azkaban-sql-script-2.5.0.tar.gz
    azkaban-web-server-2.5.0.tar.gz

安装

#mkdir -p /usr/local/azkaban
#tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban
#tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban
#tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban

配置

  • 1.创建azkaban数据库
[root@localhost ~]# mysql -u root -p
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 6165
Server version: 5.5.52-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> create database azkaban;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]>
  • 2.将数据表导入azkaban数据库
MariaDB [(none)]> use azkaban;
Database changed
MariaDB [azkaban]> source /usr/local/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)

Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

MariaDB [azkaban]> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)

MariaDB [azkaban]>
  • 3.创建SSL配置（生成安全证书）
[root@Master ~]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password:  
Re-enter new password: 
What is your first and last name?
  [Unknown]:  
What is the name of your organizational unit?
  [Unknown]:  
What is the name of your organization?
  [Unknown]:  
What is the name of your City or Locality?
  [Unknown]:  
What is the name of your State or Province?
  [Unknown]:  
What is the two-letter country code for this unit?
  [Unknown]:  CN
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
  [no]:  yes
Enter key password for <jetty>
    (RETURN if same as keystore password):

验证是否成功生成了keystore证书文件（证书文件存在于执行命令的目录）

[root@Master ~]# ls
anaconda-ks.cfg keystore
[root@Master ~]#
  • 4.拷贝证书文件（keystore）到azkaban-web-2.5.0根目录下
[root@Master ~]# cp keystore /usr/local/azkaban/azkaban-web-2.5.0/
[root@Master ~]#

  • 5.使用tzselect同步时区

  • 6.修改配置文件

/azkaban-web-2.5.0/conf/azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Test                   //服务器UI名称
azkaban.label=My Local Azkaban      //描述
azkaban.color=#FF3601               //UI颜色
azkaban.default.servlet.path=/index
web.resource.dir=web/               //默认web根目录
default.timezone.id=Asia/Shanghai   //修改默认时区

# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql                 //数据库类型
mysql.port=3306                     //端口号
mysql.host=123.207.101.174          //数据库连接地址
mysql.database=azkaban              //数据库实例名
mysql.user=user                     //数据库用户名
mysql.password=password             //数据库密码
mysql.numconnections=100            //最大连接数

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25                 //最大线程数
jetty.ssl.port=8443                 //Jetty SSL端口
jetty.port=8081                     //Jrtty端口
jetty.keystore=keystore             //SSL文件名
jetty.password=246437               //SSL文件密码
jetty.keypassword=246437            //Jetty主密码与keystore文件相同
jetty.truststore=keystore           //SSL文件名
jetty.trustpassword=246437          //SSL文件密码

# Azkaban Executor settings
executor.port=12321                 //执行服务端口号

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache               //缓存目录

/azkaban-web-2.5.0/conf/azkaban-users.xml

<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics" />
    //添加的记录
    <user username="admin" password="admin" roles="admin,metrics" />
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS" />
</azkaban-users>

/azkaban-executor-2.5.0/conf/azkaban.properties

# Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=looc
mysql.database=azkaban
mysql.user=root
mysql.password=246437
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

验证

  • 1.启动相应服务

启动AzkabanWebServer

[root@Master azkaban-web-2.5.0]# bin/azkaban-web-start.sh

注：停止bin/azkaban-web-shutdown.sh

启动AzkabanExecutorServer

[root@Master azkaban-executor-2.5.0]# bin/azkaban-executor-start.sh

注：停止bin/azkaban-executor-shutdown.sh

验证启动结果：

[root@Master ~]# jps
3047 ResourceManager
3415 Jps
3385 AzkabanExecutorServer
2891 SecondaryNameNode
2525 QuorumPeerMain
2701 NameNode
3357 AzkabanWebServer
[root@Master ~]#
  • 2.访问Azkaban Web UI

地址：https://master:8443
这里写图片描述
注：地址中必须是https，另外用户名和密码都是admin.
这里写图片描述

实例

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

Over

独者looc
关注
专栏目录
azkaban2.5.0
11-06
azkaban2.5.0所有软件包的集合，包括web、executor、sql-script
Azkaban2.5.0安装包
10-30
Azkaban2.5.0安装包。Azkaban是大数据中使用的工作流以及定时调度框架。常用在离线批处理中，即定时处理MapReduce Job，定时处理Hive Sql等。相比与oozie这个框架来说，更加简单方便。
azkaban 2.5.0安装包
10-19
Azkaban是一个任务调度、管理系统，可以帮用户管理、调度各种运算任务！ （可以调任何任务，只要你的任务能用脚本启动） Azkaban类似的产品还有很多，比如oozie，airflow
Azkaban安装包-2.5.0.zip
04-06
阿兹卡班2.5.0全套安装包,包括azkaban-web-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz
Azkaban2.5.0部署安装（含安装包）
laoxubug的博客
03-12 675
1. 软件下载 重要说明: 当前, 官方已不再提供二进制安装包下载服务, 需要使用提提供的源码进行编译、打包方式生成二进制文件, 再进行部署安装. 在2.x版本中, azkaban是使用ant进行编译打包, 而在3.x的很多版本, 演变为使用gradle编译打包, 在做源码编译打包时需要事先构建相应的打包环境. 源码下载地址: https://azkaban.github.io/downloads.html 2.5.0源码下载地址: https://codeload.github.com/azkaban/
azkaban-sql-script-2.5.0.tar.gz
06-09
这个压缩包“azkaban-sql-script-2.5.0.tar.gz”包含的是Azkaban 2.5.0版本的SQL脚本，这些脚本可能用于在数据库中设置和配置Azkaban所需的表结构和权限。以下将详细介绍Azkaban的关键概念、功能以及与SQL脚本的关系...
azkaban-2.5.0.zip
11-07
Azkaban 2.5.0是该软件的一个稳定版本，包含了三个主要组件：Server、SQL脚本和Web界面。 1. **Azkaban Server**： Azkaban Server是整个系统的中心，负责接收和调度作业。它维护着作业的状态信息，监控作业的执行...
azkaban-web-server
03-04
在本文中，我们将深入探讨Azkaban Web Server的功能、架构以及如何在`azkaban-web-server-2.5.0.tar`这个版本中部署和使用。 1. **Azkaban Web Server功能** - **任务提交与管理**：用户可以通过Web界面提交工作流...
azkaban-solo-server-2.5.0
06-16
1. **安装与配置**：首先，你需要解压"azkaban-solo-2.5.0"压缩包到本地目录。然后，按照官方文档（http://azkaban.github.io/azkaban/docs/latest/）中的指示进行配置，包括修改`conf/azkaban.properties`文件以...
Azkaban2.5.0 executor-server、web-server下载
10-21
Azkaban是一款开源的工作流执行...在部署Azkaban2.5.0时，要仔细阅读官方文档，理解各个组件的作用和配置步骤，以确保顺利安装和使用。同时，了解Azkaban的工作原理和最佳实践，将有助于提升大数据处理的效率和可靠性。
azkaban2.5.0 two-server模式所有压缩包
12-06
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
azkaban-executor-2.5.0.tar.gz
11-02
azkaban-executor-2.5.0.tar.gz azkaban-executor-2.5.0.tar.gz azkaban-executor-2.5.0.tar.gz
azkaban新版本压缩包.txt
09-11
azkaban使用的时候就都需要编译，而在编译过程中会出现多多少少的问题，网络连接失败导致的下载jar依赖最长出现，这里是个连接（永久有效），通过 百度云连接下载，解压即可使用 window /linux 2套版本 版本是：azkaban3.78.0
azkaban2.5.0安装插件
05-13
azkaban-executor-server-2.5.0-tar.gz azkaban-web-server-2.5.0-tar.gz azkaban-sql-script-2.5.0-tar.gz
azkaban-binary-2.5.0二进制安装包(含Web + executor + sql等全部模块)
11-20
Azkaban自己编译、打包的的二进制压缩包, 开箱即用, 自己亲测可用. 免去纷繁复杂的编译、打包、网络斗争操作. 软件列表: 1) azkaban-executor-server-2.5.0.tar.gz; 2) azkaban-sql-script-2.5.0.tar.gz; 3) azkaban-web-server-2.5.0.tar.gz
Linux下Azkaban2.5.0安装
hanlanshenlan的专栏
09-14 621
1.下载Azkaban相关安装包 用unzip 和tar –zxvf 分别解压。 2. 系统时区设置 查看时区 或者 timedatectlstatus命令查看 修改时区 时区文件都在/usr/share/zoneinfo，复制相应时区覆盖/etc/localtime即可 [hadoop@master ~]$ ll /usr/share/zoneinfo 例如...
Azkaban2.5.0安装+使用
qq_22049773的博客
01-23 441
Azkaban 的架构 1) AzkabanWebServer：AzkabanWebServer 是整个 Azkaban 工作流系统的主要管理者，它用户登录认证、负责 project 管理、定时执行工作流、跟踪工作流执行进度等一系列任务。 2) AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过 mysql 数据库来协调任务的执行。 3) 关系型数据库（My...
Azkaban2.5.0的安装和部署
qq_41495340的博客
12-23 619
azkaban 2.5.0的部署安装过程
Azkaban(2.50)单节点安装
weixin_40809627的博客
10-09 624
环境 azkaban 2.5.0 注：https://www.cnblogs.com/lyywj170403/p/8893846.html
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值