Azkaban部署

最新推荐文章于 2024-07-03 12:19:10 发布
最新推荐文章于 2024-07-03 12:19:10 发布
阅读量145 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59651968/article/details/134217077
版权

Azkaban部署

一、集群模式安装

1、上传压缩包，解压等

[root@node01 ~]# tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
[root@node01 ~]# tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
[root@node01 ~]# tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/

2、配置MySQL

  1. 登陆MySQL，创建Azkaban数据库

    mysql> create database azkaban;

  2. 设置密码有效长度6位及以上

    mysql> set global validate_password_length=6;

  3. 设置密码策略最低级别

    mysql> set global validate_password_policy=0;

  4. 创建Azkaban用户，任何主机都可以访问Azkaban，密码是123456

    mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '123456';

  5. 赋予Azkaban用户增删改查权限

    mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

  6. 创建Azkaban表，完成后退出MySQL

    mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
mysql> quit;

  7. 更改MySQL包大小；防止Azkaban连接MySQL阻塞

    [root@node01 azkaban]# vim /etc/my.cnf
# 在[mysqld]下面加一行
max_allowed_packet=1024M

  8. 重启MySQL

    [root@node01 azkaban]# systemctl restart mysqld

3、配置Executor Server

  1. 编辑azkaban.properties

    vim /opt/module/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties

    # Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
# 将时区改成亚洲
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
# 将localhost改成IP
azkaban.webserver.url=http://192.168.48.10:8081
# mail settings
# 配置邮箱的发送人
mail.sender=abc@qq.com
mail.host=smtp.qq.com
mail.user=abc@qq.com
mail.password=tvmrzsdfefbfg
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
# 配置邮箱，无论成功与否都发送到这个邮箱
job.failure.email=abc@qq.com
job.success.email=abc@qq.com
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
# 将localhost改成IP
mysql.host=192.168.48.10
mysql.database=azkaban
mysql.user=azkaban
# 设置密码
mysql.password=123456
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
# 指定Azkaban Executor的端口号，不然会一直变
executor.port=12321

    注意：上方有许多都是相对路径，等下启动时也要在指定目录下启动。

  2. 将azkaban-exec-server-3.84.4同步到其他节点

    [root@node01 azkaban]# scp -r azkaban-exec-server-3.84.4/ node02:`pwd`
[root@node01 azkaban]# scp -r azkaban-exec-server-3.84.4/ node03:`pwd`

  3. 必须进入到/opt/module/azkaban/azkaban-exec-server-3.84.4路径，分别在三台机器上，启动executor server

    [root@node01 azkaban-exec-server-3.84.4]# bin/start-exec.sh
[root@node02 azkaban-exec-server-3.84.4]# bin/start-exec.sh
[root@node03 azkaban-exec-server-3.84.4]# bin/start-exec.sh

    注意：如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port文件，说明启动成功

  4. 激活executor

    [root@node01 azkaban-exec-server-3.84.4]# curl -G "node01:12321/executor?action=activate" && echo
[root@node01 azkaban-exec-server-3.84.4]# curl -G "node02:12321/executor?action=activate" && echo
[root@node01 azkaban-exec-server-3.84.4]# curl -G "node03:12321/executor?action=activate" && echo

    三台机器都出现{"status":"success"}表示激活成功

4、配置Web Server

  1. 编辑azkaban.properties

    [root@node01 azkaban]# vim /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties

    # Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
# 修改为亚洲时区
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
# 将localhost修改为IP
mysql.host=192.168.48.10
mysql.database=azkaban
mysql.user=azkaban
# 修改成自己配置的密码
mysql.password=123456
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
# 将MinimumFreeMemory去掉，
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1
    1. StaticRemainingFlowSize: 这个过滤器可能会根据流的剩余任务数量来选择 Executor。
    2. MinimumFreeMemory: 这个过滤器可能会根据 Executor 的空闲内存量选择 Executor。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行。
    3. CpuStatus: 这个过滤器可能会根据 Executor 的 CPU 使用情况选择 Executor。

  2. 修改azkaban-users.xml文件，配置自己登入的用户

    [root@node01 azkaban]# vim /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban-users.xml
# 添加一条
<user password="123456" roles="admin" username="dayu"/>

  3. 必须进入到node01的/opt/module/azkaban/azkaban-web-server-3.84.4路径，启动web server

    [root@node01 azkaban-web-server-3.84.4]# bin/start-web.sh

  4. 访问http://192.168.48.10:8081/,并用自己配的用户登录用户登陆

在这里插入图片描述

鲸落万物
关注
Azkaban安装部署使用详细篇
12-24
开源调度工具Azkaban详细安装步骤及使用说明，该文档目前是最新版本3.39.0版，较之前的版本发生了很大变化，需要的同学可以下载，如有不正确的地方欢迎留言。
大数据单机学习环境搭建(12)Azkaban的简单使用
LMTX069的博客
04-22 1487
写在前面 Azkaban单机部署的压缩包白嫖 Azkaban单机部署教程 1.登录和密码修改 Azkaban安装后登录 http://node1:8081/index（node1改为），原始账号：azkaban，密码：azkaban 2.新建工程 3.立即执行 4.设置定时任务 ...
Azkaban-3.84.4集群部署——安装篇（文章结尾附带网盘下载链接）
最新发布
2201_76100933的博客
07-03 2261
Azkaban-3.84.4集群部署——安装篇（文章结尾附带网盘下载链接）
Azkaban的安装部署
qq_55906442的博客
05-28 4225
介绍： Azkaban 是个简单的批处理调度器，用来构建和运行Hadoop作业或其他脱机过程。整体包括三部分webserver、dbserver、executorserver。 ​ Azkaban是由Linkedin开源的一个Java项目，批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ​ Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 Azkaban的功能特点 1.兼容所有版本的 Had...
大数据技术之Azkaban
魔法革1996
03-12 692
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，...
AzKaBan安装部署和操作
互联网知识分享
07-19 697
其中，localhost:3306是数据库的地址和端口，azkaban-web-server是Azkaban的服务器名称，Asia/Shanghai是Azkaban的默认时区，12321是Azkaban的执行器端口。Hadoop、Azkaban是常用的大数据平台工具，本文将介绍如何安装和部署Hadoop和Azkaban，并提供相应的代码案例和参数介绍。其中，/path/to/java是Java的安装路径，/opt/hadoop/conf是Hadoop的配置文件目录。
Azkaban
qq_30065395的博客
08-31 1168
第1章 Azkaban概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； ​ 1.2 常见工作流调度系统 1）简单的任务调度：直接使用Linux的Crontab来定义； 2）复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如Ooize、Azkaban、 Airfl
azkaban 编译与部署
10-27
### Azkaban源码编译、安装与部署详解 #### 一、Azkaban简介 Azkaban是一款开源的工作流调度系统，它主要用于批量数据处理任务的管理与调度。Azkaban提供了简单易用的界面来创建、管理和监控工作流，并支持依赖...
Azkaban实战案例
01-27
Azkaban是一个开源的工作流管理系统，常用于大数据处理工作中的任务调度。在本文中，我们将通过几个实战案例来深入理解Azkaban的功能和使用方法。 首先，我们来看一个基础的命令行类型的任务执行案例。Azkaban允许...
Azkaban3.81.x部署过程及遇到的坑
10-15
在部署Azkaban之前，需要进行一系列的环境准备工作。首先，需要安装Java环境。可以下载jdk1.8并解压到指定目录，然后添加Java环境变量，并刷新环境变量。其次，需要安装MySQL，Ubuntu用户可以参考相关的安装博文。...
azkaban4.0编译包
02-09
使用预编译的包可以快速地在你的环境中部署并开始使用Azkaban，而不需要经历编译源代码的过程，这大大简化了部署步骤。然而，为了确保最佳的兼容性和稳定性，你应该仔细阅读官方文档，了解可能的配置选项和升级注意...
ambari+hdp下mysql元数据用户ambari、hive、root、azkaban用户密码修改
qq_42422698的博客
09-07 1552
写在前面 ambari+hdp 安装集群的时候密码修改太简单，出于安全考虑，做各用户的密码修改。 1 mysql 用户管理表字段 CREATE TABLE `user` ( `Host` char(60) COLLATE utf8_bin NOT NULL DEFAULT '', `User` char(32) COLLATE utf8_bin NOT NULL DEFAULT '', `Select_priv` enum('N','Y') CHARACTER SET utf8 NOT NULL
Azkaban 配置
JackLi31742的博客
10-05 564
下载地址:http://azkaban.github.io/downloads.html a) azkaban-web-server-2.5.0.tar.gz b) azkaban-executor-server-2.5.0.tar.gz c) azkaban-sql-script-2.5.0.tar.gz d) mysql-libs.zip 2) 选择 Mysql 作为 Azkaban 数据库，...
Azkaban集群模式部署详细教程
majingbobo的博客
04-06 1241
Azkaban是一个用于工作流程调度和任务调度的开源工具，它可以帮助用户轻松地管理和监控复杂的工作流程。Azkaban的架构设计旨在提供高度可扩展性和可靠性，同时保持易用性和灵活性。
大数据任务调度器 —— Azkaban 3.0 部署与简单应用
JIE的博客 --- moon_coder
04-08 1680
Azkaban 是一个分布式的 工作流程管理器，在 LinkedIn 实现，用于解决 Hadoop 作业依赖问题，处理需要按顺序运行的作业，从 ETL 作业到数据分析产品。
Azkaban安装部署
muxlong的博客
01-31 638
AzkabanWebServer中的三个主要元素：project、job、flowproject：工程/项目job：任务，project中包含的需要执行的任务flow：工作流，由各个job之间的依赖关系所组成。
AzKaBan安装部署
互联网知识分享
05-12 290
选择Mysql作为Azkaban数据库，因为Azkaban建立了一些Mysql连接增强功能，以方便Azkaban设置，并增强服务可靠性。在azkaban web服务器安装目录 conf目录，按照如下配置修改azkaban-users.xml 文件，，即可访问azkaban服务了。（1）进入azkaban web服务器安装目录 conf目录，打开azkaban.properties文件。（1）-keystore 指定密钥库的名称及位置(如果没有指定文件，默认.keystore文件）
任务调度器Azkaban（Azkaban环境部署）
weixin_43689953的博客
02-08 1186
1
azkaban安装部署
08-24
Azkaban是一个用于调度和监控工作流的开源工具。下面是一个简单的Azkaban安装部署步骤： 1. 安装Java：Azkaban是基于Java开发的，因此首先需要安装Java。确保您已经安装了Java Development Kit（JDK）。 2. 下载Azkaban：您可以从Azkaban的官方网站（https://azkaban.github.io/）下载最新的稳定版本。解压下载文件到您选择的目录。 3. 配置Azkaban：进入解压后的Azkaban目录，编辑 `azkaban.properties` 文件以配置Azkaban。主要配置项包括数据库连接、日志存储位置、端口号等。 4. 准备数据库：Azkaban使用MySQL或H2作为其后端数据库。您可以选择使用其中之一。如果选择使用MySQL，请先创建一个新的MySQL数据库。 5. 初始化数据库：运行 `bin/azkaban-sql-script/create-all-sqls.sql` 文件初始化数据库。如果使用MySQL，请将脚本中的 `CREATE DATABASE` 语句修改为您创建的数据库名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值