Azkaban-安装手册

最新推荐文章于 2024-09-10 09:17:09 发布
最新推荐文章于 2024-09-10 09:17:09 发布
阅读量604 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop azkaban
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tyhawk/article/details/88840179
版权

文章目录

Azkaban2.5.0 安装

一、Azkaban 运行模式

Azkaban 有三个重要组件：

  1. 关系型数据库（目前仅支持MySQL）
  2. Web管理服务器－Azkaban Web Server
  3. 执行服务器－Azkaban Executor Server
    在这里插入图片描述

Azkaban有三种运行模式：

  1. solo server mode：单机模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大的项目可以采用此模式。
  2. two server mode：数据库为 MySQL，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响。
  3. multiple executor mode：该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。

在这里我们使用第二种模式，管理服务器、执行服务器分进程，但在同一台主机上。

二、Azkaban2.5.0 安装详解

将安装文件上传到集群,最好上传到安装 Hive、Sqoop 的机器上,方便命令的执行。并最好放在同一个安装目录下,用于存放源安装文件。

2.1 下载安装包

下载地址： http://azkaban.github.io/downloads.html
版本号：
Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz
Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz
Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz

2.2 上传并解压

将 Azkaban 安装包上传到 Linux 服务器上，解压到相应目录下：

[tyhawk@master ~]$ mkdir azkaban-2.5.0
##将软件丢进去后开始解压
[tyhawk@master azkaban-2.5.0]$ tar -zxvf azkaban-executor-server-2.5.0.tar.gz
[tyhawk@master azkaban-2.5.0]$ tar -zxvf  azkaban-web-server-2.5.0.tar
[tyhawk@master azkaban-2.5.0]$ tar -zxvf  azkaban-sql-script-2.5.0.tar
[tyhawk@master azkaban-2.5.0]$ ll
total 22620
drwxrwxr-x. 2 tyhawk tyhawk     4096 Mar 27 10:15 azkaban-2.5.0
drwxrwxr-x. 7 tyhawk tyhawk       92 Mar 27 09:52 azkaban-executor-2.5.0
-rw-r--r--. 1 tyhawk tyhawk 11157302 Mar 27 09:39 azkaban-executor-server-2.5.0.tar.gz
-rw-r--r--. 1 tyhawk tyhawk     1928 Mar 27 09:39 azkaban-sql-script-2.5.0.tar.gz
drwxrwxr-x. 8 tyhawk tyhawk      103 Mar 27 10:15 azkaban-web-2.5.0
-rw-r--r--. 1 tyhawk tyhawk 11989669 Mar 27 09:39 azkaban-web-server-2.5.0.tar.gz

2.3 设置 MySQL 账户

## 为Azkaban创建数据库，其中数据库名字不一定是azkaban
mysql> CREATE DATABASE azkaban;
Query OK, 1 row affected (0.06 sec)

## 创建Azkaban数据库的用户，并为用户设置密码(我用的以前实验的HADOOP账号，故而示范一下)
mysql> CREATE USER 'hadoop'@'%' IDENTIFIED BY 'rootroot';
Query OK, 0 rows affected (0.29 sec)

## 增加shiny用户对azkaban数据库的所有权限 
mysql> GRANT ALL ON azkaban.* TO 'hadoop'@'%' IDENTIFIED BY 'rootroot' WITH GRANT OPTION;
Query OK, 0 rows affected (0.26 sec)

## 刷新
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.12 sec)

2.4 将azkaban sql表结构导入MySQL

mysql> USE azkaban;
Database changed

##申明
mysql> SOURCE /home/tyhawk/azkaban-2.5.0/azkaban-2.5.0
/create-all-sql-2.5.0.sql;

2.5 创建 jetty ssl配置

进入Azkaban的安装目录：

[tyhawk@master ~]$  cd azkaban-2.5.0
[tyhawk@master  azkaban-2.5.0]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

运行此命令后,会提示输入当前生成 keystore 的密码及相应信息,输入的密码请劳记,信息如下:

[tyhawk@master azkaban-2.5.0]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password:       ==设置密码（六位密码长度）123456==
Re-enter new password:         ==确认密码==
What is your first and last name?
  [Unknown]:                   ==回车不设置==
What is the name of your organizational unit?
  [Unknown]:                   ==回车不设置==
What is the name of your organization?
  [Unknown]:                   ==回车不设置==
What is the name of your City or Locality?
  [Unknown]:                   ==回车不设置==
What is the name of your State or Province?
  [Unknown]:                   ==回车不设置==
What is the two-letter country code for this unit?
  [Unknown]:  CN               ==cn代表中国，大小写都行==
Is CN=Unknown, OU=CN, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
  [no]:  y                     ==yes确认==

Enter key password for <jetty>
	(RETURN if same as keystore password):   ==输入密码123456=
Re-enter new password:                 ==确认密码==

以上配置完成之后会在当前目录生成一个keystore文件。将 keystore 拷贝到 Azkaban Web 服务器目录中。

[tyhawk@master azkaban-2.5.0]$ ll
total 22620
drwxrwxr-x. 2 tyhawk tyhawk     4096 Mar 27 10:15 azkaban-2.5.0
drwxrwxr-x. 7 tyhawk tyhawk       92 Mar 27 09:52 azkaban-executor-2.5.0
-rw-r--r--. 1 tyhawk tyhawk 11157302 Mar 27 09:39 azkaban-executor-server-2.5.0.tar.gz
-rw-r--r--. 1 tyhawk tyhawk     1928 Mar 27 09:39 azkaban-sql-script-2.5.0.tar.gz
drwxrwxr-x. 8 tyhawk tyhawk      103 Mar 27 10:15 azkaban-web-2.5.0
-rw-r--r--. 1 tyhawk tyhawk 11989669 Mar 27 09:39 azkaban-web-server-2.5.0.tar.gz
-rw-rw-r--. 1 tyhawk tyhawk     2222 Mar 27 10:12 keystore

[tyhawk@master azkaban-2.5.0]$ cp keystore  azkaban-web-2.5.0/

2.6 Azkaban Web 服务器配置

2.6.1 修改配置文件 azkaban.properties

进入 Azkaban Web 服务器安装目录 conf 目录下：

[tyhawk@master azkaban-2.5.0]$ cp keystore  azkaban-web-2.5.0/
[tyhawk@master azkaban-2.5.0]$ cd /conf
[tyhawk@master conf]$ vim azkaban.properties

#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai   ==默认时区，改为中国上海.默认美国洛杉矶==

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql   ==数据库类型==
mysql.port=3306       ==端口==
mysql.host=master     ==数据库连接Ip==
mysql.database=azkaban    ==数据库名==
mysql.user=hadoop         ==数据库用户名==
mysql.password=rootroot     ==数据库密码==
mysql.numconnections=100   ==最大连接数==

# Velocity dev mode
velocity.dev.mode=false


# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=123456        ==SSL文件密码==
jetty.keypassword=123456     ==Jetty主密码与keystore文件相同==
jetty.truststore=keystore
jetty.trustpassword=123456   ==SSK文件密码==

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache
2.6.2 用户配置 azkaban-users.xml

进入 Azkaban Web 服务器安装目录 conf 目录下：

[tyhawk@master conf]$ pwd
/home/tyhawk/azkaban-2.5.0/azkaban-web-2.5.0/conf

[tyhawk@master conf]$ vi azkaban-users.xml

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>

       //添加管理员账号
        <user username="admin" password="admin" roles="admin,metrics"/>
        
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>
~

2.7 Azkaban executor 执行服务器配置

进入Azkaban executor执行服务器目录 conf 目录下修改azkaban.properties配置文件：

[tyhawk@master conf]$ pwd
/home/tyhawk/azkaban-2.5.0/azkaban-executor-2.5.0/conf
[tyhawk@master conf]$ vi azkaban.properties 

#Azkaban
default.timezone.id=Asia/Shanghai    ==修改为中国上海==

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=master         ==登陆主机==
mysql.database=azkaban    ==登陆数据库==
mysql.user=hadoop         ==登陆数据库用户==
mysql.password=rootroot     ==数据库用户密码==
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

~

2.8 启动 Azkaban Web 服务器

在 Azkaban Web 服务器目录下执行启动命令：

[tyhawk@master azkaban-web-2.5.0]$ pwd
/home/tyhawk/azkaban-2.5.0/azkaban-web-2.5.0
[tyhawk@master azkaban-web-2.5.0]$ bin/azkaban-web-start.sh

...................
........
yServer registered.
2019/03/27 11:34:18.954 +0800 INFO [AzkabanWebServer] [Azkaban] Bean azkaban.jmx.JmxTriggerManager registered.
2019/03/27 11:34:18.959 +0800 INFO [AzkabanWebServer] [Azkaban] Bean azkaban.jmx.JmxExecutorManager registered.
2019/03/27 11:34:18.962 +0800 INFO [AzkabanWebServer] [Azkaban] Setting up web resource dir web/
2019/03/27 11:34:19.053 +0800 INFO [JdbcTriggerLoader] [Azkaban] Loading all triggers from db.
2019/03/27 11:34:19.092 +0800 INFO [JdbcTriggerLoader] [Azkaban] Loaded 0 triggers.
2019/03/27 11:34:19.094 +0800 INFO [log] [Azkaban] jetty-6.1.26
2019/03/27 11:34:19.427 +0800 INFO [log] [Azkaban] Started SslSocketConnector@0.0.0.0:8443
2019/03/27 11:34:19.428 +0800 INFO [AzkabanWebServer] [Azkaban] Server running on ssl port 8443.

2.9 启动 Azkaban executor 执行服务器

另外开启一个终端，在Azkaban executor 执行服务器目录下执行启动命令：

[tyhawk@master azkaban-executor-2.5.0]$ pwd
/home/tyhawk/azkaban-2.5.0/azkaban-executor-2.5.0

[tyhawk@master azkaban-executor-2.5.0]$ bin/azkabanan-executor-start.sh

...............
..............
 2019/03/27 11:23:27.489 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished
2019/03/27 11:23:27.490 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old projects
2019/03/27 11:23:27.490 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old execution dirs
2019/03/27 11:23:27.502 +0800 INFO [AzkabanExecutorServer] [Azkaban] Registering MBeans...
2019/03/27 11:23:27.523 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
2019/03/27 11:23:27.536 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxFlowRunnerManager registered.
2019/03/27 11:23:27.536 +0800 INFO [log] [Azkaban] jetty-6.1.26
2019/03/27 11:23:27.595 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
2019/03/27 11:23:27.596 +0800 INFO [AzkabanExecutorServer] [Azkaban] Azkaban Executor Server started on port 12321

三、验证

启动完成后，在浏览器中输入https://服务器IP地址:8443 ,即可访问
Azkaban 服务了。在登录中输入管理员用户名及密码,点击 Login。

在这里插入图片描述

主页信息：

在这里插入图片描述
如果能够看到Azkaban的主页，就说明你已经将Azkaban安装成功了，congratulations！！！

栖之
关注
专栏目录
django官方入门教程实践
cherish的技术博
10-16 619
django官方入门教程实践新建项目项目内app创建视图配置文件数据库app配置创建模型（相当于数据库）激活模型管理员创建管理员真正的视图template删除模板中的硬编码 url创建表单vote函数自动化测试界面优化static资源定制admin页面 官方文档入口：Writing your first Django app 新建项目 使用pycharm开发，新建django项目，命名为mysite 其项目结构如下 外层mysite：随意命名，根目录 Manage.py :与django交互 内层my
docker 安装azkaban_Azkaban安装部署
weixin_35137190的博客
12-30 749
在root的用户下搭建的• Azkaban安装部署(可参照：http://azkaban.github.io/azkaban/docs/latest/)1)：前提安装JDK，安装Hadoop，Hive客户端环境2)：前提安装 git 的命令 ：apt-get install git3)：把github的azkaban源码下载命令：git clone https://github.com/azk...
Azkaban
hsiehchou的博客
03-13 151
1、Azkaban 官网：https://azkaban.github.io/ Azkaban是一款开源工作流管理器 Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业 Azkaban通过作业依赖性解决订单，并提供易于使用的Web用户界面来维护和跟踪您的工作流程 工作流作业： flume-&amp;gt;hdfs-&amp;gt;mr-&amp;gt;hive建表-&amp;gt;导...
azkaban安装
最新发布
yangye1225的博客
09-10 1020
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：- Web用户界面- 方便上传工作流- 方便设置任务之间的关系- 调度工作流- 认证/授权(权限的工作)- 能够杀死并重新启动工作流- 模块化和可插拔的插件机制- 项目工作区- 工作流和任务的日志记录和审计。
docker安装azkaban-webserver
weixin_44451413的博客
04-14 971
docker安装azkaban-webserver 下载安装需要的文件添加链接描述 提取码:e5do 将文件放到服务器上，需要docker，docker-compose自行安装。 解压压缩包后进入文件目录 docker-compose up -d 执行完成后查看docker是否启动成功 docker ps 这里会使用端口3306 ,8443 ，端口占用的话请提前关闭占用端口的服务 会看到三个容器 这里需要把create-all-sql-2.5.0.sql文件导入到 mariadb容器中 docker cp
docker 安装azkaban_docker-azkaban
weixin_30100299的博客
12-30 424
Azkaban DockerfilesAzkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interfa...
azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
09-27
6. **docs** 或 **manual** 目录（如果存在）：包含Azkaban的用户手册和开发者指南，帮助用户了解如何配置和使用Azkaban。 7. **LICENSE** 和 **README** 文件：提供软件的许可信息和简要介绍。 部署Azkaban执行...
azkaban-db-0.1.0-SNAPSHOT.tar.gz
07-30
6. **docs**：可能包含Azkaban的文档，如用户手册、API参考和开发者指南，帮助用户更好地理解和使用Azkaban。 7. **sql**：可能包含初始化Azkaban数据库的SQL脚本，用户需要执行这些脚本来设置数据库表结构，以便...
Azkaban2.5安装手册和安装包
10-23
在本文中，我们将深入探讨Azkaban 2.5的安装过程，以及在安装过程中需要注意的关键点。 首先，安装Azkaban需要一个支持Java的环境，推荐使用JDK 1.8或1.7。确保你的系统已经安装了Java，并且可以正常使用`java`命令...
Azkaban协调任务手册.docx
07-24
### Azkaban协调任务手册知识点解析 #### 一、Azkaban概述 ##### 1、任务时序 在数据处理和服务领域，业务流程通常涉及多个步骤。例如，从收集原始日志文件开始，通过一系列的大数据分析处理，最终将处理后的结果...
docker-azkaban:阿兹卡班堆栈
06-02
阿兹卡班 Dockerfiles Azkaban 是在 LinkedIn 创建的批处理工作流作业调度程序，用于运行 Hadoop 作业。 Azkaban 通过作业相关性解决排序问题，并提供易于使用的 Web 用户界面来维护和跟踪您的工作流程。 Azkaban 由 3 个关键组件组成： 关系数据库 (MySQL) 阿兹卡班网络服务器 阿兹卡班执行服务器 该存储库包含 for Dockerfiles 。 基础 Docker 镜像 官方 安装 安装 。 安装 。 下载自动构建 来自公共 ： docker pull puckel/docker-azkaban-webserver 来自公共 ： docker pull puckel/docker-azkaban-executor 或者，您可以从构建映像。 用法 docker-compose up -d docker-compose ps
azkaban---docker安装部署
beiduofen2011的专栏
11-11 1448
操作系统：centos7 ，root用户 docker安装 1、安装需要的软件包，yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的yum install -y yum-utils device-mapper-persistent-data lvm2 2、设置yum源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo 3、.
docker 安装azkaban_docker总结
weixin_39856803的博客
12-30 308
编译dockergit clone https://github.com/docker/docker.git-> 制作镜像# wget http://www.yiyun.pro/docker-dev.tar# docker load -i docker-dev.tar-> C/S框架, 各模块松耦合:Docker Daemon -> Engine -> Job在Job运行...
azkaban
剑雨江湖
07-04 710
                azkaban1、azkaban是由linked开源的一个批量工作流任务调度器。（工作流调度器）2、他是由三个部分组成：Azkaban Web Server 和Azkaban Executor Server 和MySql    Web:管理服务器    Executor:执行管理器    Mysql:关系数据库3、使用：    （1）在windows上写HDFS、h...
Azkaban安装配置完全手册
资源摘要信息: "Azkaban安装配置详细指南" Azkaban是一个开源的批量工作流调度器，主要用于数据管道作业。它支持调度Hadoop任务和其他类型的作业，并且易于使用，非常适合在大数据处理场景中使用。Azkaban由...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值