Azkaban的安装，编译，配置、启动测试以及启动的非常详细的步骤

最新推荐文章于 2023-11-21 11:12:06 发布
最新推荐文章于 2023-11-21 11:12:06 发布
阅读量1.3k 收藏 7
点赞数 3
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47068172/article/details/113882571
版权

文章目录

前言

下面主要介绍Azkaban的调度测试。

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装git

yum下载
在这里插入图片描述

查看版本
在这里插入图片描述

二、Azkaban的查看、下载以及变异过程

1.查看

找到官网，查看Azkaban的任务调度流程。
在这里插入图片描述
在这里插入图片描述

2.下载

在这里插入图片描述
在这里插入图片描述

3.上传

在这里插入图片描述

4.解压

首先安装解压软件
在这里插入图片描述
之后进行解压
在这里插入图片描述
复制到servers底下的azkaban1
在这里插入图片描述

5.编译

进入azkaban的目录
在这里插入图片描述
开始编译（看到BUILD SUCCESSFUL则编译成功）
编译时间非常的长，大家可以去休息一会了，当时我编译的时候渐渐续续的编译了三天（正常应该使四五个小时），总是报错，如果大家也是报错，就继续输入编译命令即可，并不需要去修改什么。
在这里插入图片描述

6.编译成功后生成的文件夹

进入azkaban,依次查看下面三个文件夹
在这里插入图片描述
Azkaban-web-server文件夹
在这里插入图片描述
Exec-server文件夹
在这里插入图片描述
azkaban-db文件夹
在这里插入图片描述
进入如下目录，找到用于azkaban表初始化的sql

最低0.47元/天 解锁文章
小秦同学！！！
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
azkaban4.0编译包
02-09
Azkaban4.0编译包提供了预编译的组件，可以直接安装和使用，无需自行编译源代码。 在Azkaban4.0编译包中，包含了以下四个主要部分： 1. **azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz**：这是Azkaban执行服务器的...
azkaban 安装 & 使用
qq_57151931的博客
05-15 1222
azkaban 安装 & 使用
Azkaban的简介与使用教程说明
weixin_42321155的博客
09-12 996
提示：这里可以添加技术概要Azkaban是由LinkedIn公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以特定顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置其中来设置依赖关系。azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪工作流。
Azkaban搭建及使用
落幕7的博客
11-21 809
Azkaban搭建使用（很简单） 1、上传解压 unzip azkaban-solo-server.zip #没有unzip插件的执行下面命令安装 yum install unzip 2、修改配置文件 #修改azkaban.properties配置文件 vim conf/azkaban.properties #修改时区 default.timezone.id=Asia/Shanghai 3、启动azkaban cd /usr/local/soft/azkaban-solo-server 不要进入bi
8.3 hadoop之azkaban的启动
最新发布
eeywhyz的博客
11-21 204
2、执行上述指令启动AzkabanExecutor服务后，终端窗口没有任何响应，此时可以通过。与2.1步骤先相同，只是进入的目录和启动关闭的指令不太相同。1、当前面的两者启动成功后，才可以打开UI界面。暂时不需要关，因为最后要打开网页端。暂时不需要关，因为最后要打开网页端。指令查看当前目录下的文件内容，
大数据之azkaban介绍及安装部署
qq_42588609的博客
04-27 403
用户可以通过Web界面来定义工作流，包括任务之间的依赖关系、任务的执行顺序和执行条件等。执行服务器会根据工作流的定义，自动调度任务的执行，并将执行结果返回给用户。SLA监控可以帮助用户监控任务的执行时间，如果任务执行时间超过了预设的时间，系统会自动发送警报。总的来说，Azkaban是一个非常实用的工作流调度系统，它可以帮助用户简化Hadoop作业的管理和调度，提高工作效率。在数据库中创建一个新的数据库，并创建相应的表。Azkaban执行器是用来执行任务的，需要在每个执行任务的机器上启动。
azkaban--已编译.zip
10-26
3. **solo server**: Azkaban Solo Server是单节点部署模式，适用于小规模或测试环境。它集成了Web服务器和Job Executor的功能，简化了部署过程。 4. **exec server**: 执行服务器（Executor Server）负责实际执行...
azkaban3.91编译后压缩包.tar.zip
09-12
3.91版本是Azkaban的一个具体迭代，包含了Azkaban执行服务器（Azkaban Executor Server）、Web服务器（Azkaban Web Server）以及数据库相关组件。在你提供的压缩包“azkaban3.91编译后压缩包.tar.zip”中，我们可以...
azkaban最新基于REDHAT编译好的，测试可用的完事包
08-22
在REDHAT操作系统上编译并测试的Azkaban版本，意味着这个软件包已经适应了REDHAT的环境，能够兼容其系统库和依赖，保证了在REDHAT系统上的稳定运行。 Azkaban的核心功能包括： 1. **作业调度**：Azkaban允许用户...
编译好的azkaban-3.78.0（2）
11-16
5. **运行与测试**：编译完成后，你可以通过`bin/azkaban`脚本来启动Azkaban服务器，并进行测试，验证其功能是否正常。 6. **部署**：最后，将编译好的Azkaban部署到生产环境中，供实际使用。 压缩包中的“azkaban...
AzKaBan安装部署和操作
互联网知识分享
07-19 668
其中，localhost:3306是数据库的地址和端口，azkaban-web-server是Azkaban的服务器名称，Asia/Shanghai是Azkaban的默认时区，12321是Azkaban的执行器端口。Hadoop、Azkaban是常用的大数据平台工具，本文将介绍如何安装和部署Hadoop和Azkaban，并提供相应的代码案例和参数介绍。其中，/path/to/java是Java的安装路径，/opt/hadoop/conf是Hadoop的配置文件目录。
azkaban入坑指南
lvqinglou的博客
07-08 976
azkaban azkaban是一个分布式调度框架，由java语言编写，可以支持工作流的调度以及提供了可视化webUI管理. 但是只是原版的azkaban提供的功能还是比较单一的，在数据平台的应用中，需要任务分类、任务优先级、任务血缘图等功能，所以要对azkaban进行二次开发。 二次开发前，首先是本地运行、熟悉项目。 从github上的master分支拉代码到本地，地址为azkaban 1....
azkaban启动时报错
流的博客
11-29 938
报错 6.0/conf:/home/hadoop/hadoop-2.6.0/*:/conf:/lib/* [root@itcast01 bin]# Invalid maximum heap size: -Xmx4G The specified size exceeds the maximum representable size. Error: Could not create the Java ...
Azkaban安装部署和启动
张俊杰 的博客
12-12 2580
一.转载自尚硅谷安装文档 我自己照着这个尚硅谷文档安装一遍,管用, 然后我又给文档整理了一下,加上自己的注释啥的,整理了 一下,发个博客 二.下载Azkaban 将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102虚拟机/opt/software目录下 a) azkaban-web-server-2.5.0.tar.gz b) azkaban-executor-server-2.5.0.tar.gz c) azkaban-sq
Azkaban（一）：入门-安装及案例
qq_55906442的博客
10-14 928
一个完整的系统通常都是由大量任务单元组成：Shell脚本程序、Java程序、MapReduce程序、Hive脚本等。复杂的任务调度：现成的开源调度系统Ooize、Azkaban、Airflow、DolphinScheduler等。3.将azkaban.project和first.flow压缩，以zip格式压缩，文件名一定要是英文。Ooize是一个重量级的任务调度系统，功能全面，但配置使用更复杂；（2）再开启web server，进入web server目录。hello world案例完成！
linux下azkaban安装及示例
xl.zhang的博客
09-23 6245
一、环境准备Azkaban Web服务器：azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器 ：azkaban-executor-server-2.5.0.tar.gzAzkaban脚本文件：azkaban-sql-script-2.5.0.tar.gz目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 ...
azkaban启动
刘s泽
05-05 1830
1.进入到azkaban的server根目录中启动： bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out& 2.启动executor： bin/azkaban-executor-start.sh
azkaban集群启动命令和脚本
qq_45808446的博客
10-17 352
如果三台机器都出现如下提示，则表示激活成功。进入到azkaban-exec目录下。出现登录界面则成功启动。
azkaban启动失败
09-10
azkaban启动失败的问题可能有多种原因。根据引用的描述，web-server节点没有启动起来。根据引用的解决方案，执行`bin/bin/start-exec.sh`命令来启动executor时出现问题。根据引用中的日志信息，出现了"Could not find or load main class"的错误。 可能的解决方案包括： 1. 确保azkaban的安装和配置正确无误。可以检查配置文件是否正确设置，并确保依赖的软件和环境变量都已正确安装。 2. 检查web-server节点是否存在网络或端口冲突问题。可以尝试更改web-server节点的端口号，或检查是否有其他应用程序占用了相同的端口。 3. 检查executor启动命令是否正确，并确保在正确的目录下执行该命令。同时，确保生成了executor.port文件，该文件应包含executor节点的端口号信息。 4. 检查executor节点的日志文件，查找更详细的错误信息。根据引用的日志信息，可能需要查看executorServerLog__2021-12-11 20:34:15.out文件中的内容，以了解具体的错误原因。 请根据以上解决方案逐一排查问题，以解决azkaban启动失败的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值