azkaban启动时报错

最新推荐文章于 2023-11-21 11:12:06 发布
最新推荐文章于 2023-11-21 11:12:06 发布
阅读量930 收藏
点赞数
分类专栏： azkaban

报错

6.0/conf:/home/hadoop/hadoop-2.6.0/*:/conf:/lib/*
[root@itcast01 bin]# Invalid maximum heap size: -Xmx4G
The specified size exceeds the maximum representable size.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit

解决

是自己在启动配置中的大小超出；设置azkaban-web-start.sh中Xmx4G改成512M；

AZKABAN_OPTS="-Xmx512M"

同理，在启动executor的时候也会报错，同样改为512M，

而上面的命令bin./azkaban-web-start.sh换成在bin下启动./azkaban-web-start.sh出现报错关键在于Caused by: java.lang.IllegalArgumentException: User xml file conf/azkaban-users.xml doesn’t exist.

原因是在

vi azkaban.properties中，路径写的是相对路径，所以如果不改动路径，那么就得在正确的路径下启动命令，如在server中启动，用bin./azkaban-web-start.sh

LUK流
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
启动azkaban报错_启动azkaban报错
weixin_39620684的博客
12-21 756
按照文档配置、启动，启动的时候报错，1、在bin下，启动./azkaban-web-start.sh报错Using Hadoop from /home/hadoop/hadoop-2.6.0Using Hive from./..:./../lib/azkaban-2.5.0.jar:./../lib/commons-collections-3.2.1.jar:./../lib/commons-co...
Azkaban 4.0启动报错
liuandefeng的专栏
06-05 356
1 error1 error1 error。
Azkaban报错总结
默主归沙的博客
03-26 926
1、azkaban job Preparing 解决方法： 修改 web-server conf/azkaban.properties 配置。 # execute 主机过滤器配置, 去掉 MinimumFreeMemory # MinimumFreeMemory 过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 不会将任务交由该主机执行 azkaban.executorselector.filters=StaticRemainingFlowSize,Cp
azkaban启动
刘s泽
05-05 1818
1.进入到azkaban的server根目录中启动： bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out& 2.启动executor： bin/azkaban-executor-start.sh
8.3 hadoop之azkaban的启动
最新发布
eeywhyz的博客
11-21 185
2、执行上述指令启动AzkabanExecutor服务后，终端窗口没有任何响应，此时可以通过。与2.1步骤先相同，只是进入的目录和启动关闭的指令不太相同。1、当前面的两者启动成功后，才可以打开UI界面。暂时不需要关，因为最后要打开网页端。暂时不需要关，因为最后要打开网页端。指令查看当前目录下的文件内容，
Azkaban
02-24
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies来设置依赖关系，这个依赖...
azkaban4.0编译包
02-09
根据azkaban4.0源码编译好的包，可以直接安装使用。
Azkaban简介
03-03
Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。Azkaban是linkin的开源项目，开发语言为Java。Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一...
azkaban.pdf
03-02
azkaban.pdf
azkaban启动脚本
coisini.cn记录
10-17 401
azkaban.sh #!/bin/bash start-web(){ for i in sc1;do ssh $i "cd /opt/module/azkaban/azkaban-web/;bin/start-web.sh" done } stop-web(){ for i in sc1;do ssh $i "cd /opt/module/azkaban/azkaban-web/;bin/shutdown-web.sh" done } start-exec(){ for i in .
Azkaban安装部署及启动
努力赚钱就可以住更好的养老院
09-10 6332
why： 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 azkaban两个服务模式安装 所需软件： Azkaban Web服务安装包 azkaban-web-server-0.1.0-SNAP...
Azkaban安装部署和启动
张俊杰 的博客
12-12 2550
一.转载自尚硅谷安装文档 我自己照着这个尚硅谷文档安装一遍,管用, 然后我又给文档整理了一下,加上自己的注释啥的,整理了 一下,发个博客 二.下载Azkaban 将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102虚拟机/opt/software目录下 a) azkaban-web-server-2.5.0.tar.gz b) azkaban-executor-server-2.5.0.tar.gz c) azkaban-sq
Azkaban的安装，编译，配置、启动测试以及启动的非常详细的步骤
weixin_47068172的博客
02-20 1355
文章目录前言一、安装git二、Azkaban的查看、下载以及变异过程1.查看2.下载3.上传4.解压5.编译6.编译成功后生成的文件夹三、Mysql数据库的安装1.Mysql查看、下载与安装2.查看mysql状态并且启动3.修改密码四、Azkaban数据库初始化1.连接mysql2.创建azkaban数据库3.初始化数据库表五、Azkaban web服务器安装配置1.ssl创建2.Azkaban Web服务器安装3.配置六、Azkaban Executor服务器安装1.解压2.配置七、启动测试1.启动Azk
关于azkaban3.85.0启动问题
weixin_43104484的博客
05-21 129
记录加深印象和方便自己查看
azkaban开机自启动设置
坦途
05-23 595
azkaban开机自启动设置： 1.编辑azkaban的启动脚本 2.了解/etc/rc.local的工作原理 3.了解logger shell命令的日志记录应用
azkaban 安装 & 使用
qq_57151931的博客
05-15 1206
azkaban 安装 & 使用
Azkaban搭建及使用
落幕7的博客
11-21 806
Azkaban搭建使用（很简单） 1、上传解压 unzip azkaban-solo-server.zip #没有unzip插件的执行下面命令安装 yum install unzip 2、修改配置文件 #修改azkaban.properties配置文件 vim conf/azkaban.properties #修改时区 default.timezone.id=Asia/Shanghai 3、启动azkaban cd /usr/local/soft/azkaban-solo-server 不要进入bi
大数据之azkaban介绍及安装部署
qq_42588609的博客
04-27 398
用户可以通过Web界面来定义工作流，包括任务之间的依赖关系、任务的执行顺序和执行条件等。执行服务器会根据工作流的定义，自动调度任务的执行，并将执行结果返回给用户。SLA监控可以帮助用户监控任务的执行时间，如果任务执行时间超过了预设的时间，系统会自动发送警报。总的来说，Azkaban是一个非常实用的工作流调度系统，它可以帮助用户简化Hadoop作业的管理和调度，提高工作效率。在数据库中创建一个新的数据库，并创建相应的表。Azkaban执行器是用来执行任务的，需要在每个执行任务的机器上启动。
Azkaban的简介与使用教程说明
weixin_42321155的博客
09-12 900
提示：这里可以添加技术概要Azkaban是由LinkedIn公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以特定顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置其中来设置依赖关系。azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪工作流。
azkaban启动失败
09-10
azkaban启动失败的问题可能有多种原因。根据引用的描述，web-server节点没有启动起来。根据引用的解决方案，执行`bin/bin/start-exec.sh`命令来启动executor时出现问题。根据引用中的日志信息，出现了"Could not find or load main class"的错误。 可能的解决方案包括： 1. 确保azkaban的安装和配置正确无误。可以检查配置文件是否正确设置，并确保依赖的软件和环境变量都已正确安装。 2. 检查web-server节点是否存在网络或端口冲突问题。可以尝试更改web-server节点的端口号，或检查是否有其他应用程序占用了相同的端口。 3. 检查executor启动命令是否正确，并确保在正确的目录下执行该命令。同时，确保生成了executor.port文件，该文件应包含executor节点的端口号信息。 4. 检查executor节点的日志文件，查找更详细的错误信息。根据引用的日志信息，可能需要查看executorServerLog__2021-12-11 20:34:15.out文件中的内容，以了解具体的错误原因。 请根据以上解决方案逐一排查问题，以解决azkaban启动失败的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值