那些年走过的azkaban的坑

写在前面的话:azkaban这个轻量级的调度工具说实话报错信息真的很让人捉急,基本上提供不了什么有用的信息

1. java.lang.IllegalStateException: Process has not yet started

在这里插入图片描述
检查点一:检查flow文件内容是否写正确,格式问题,脚本路径。这一切都很重要!!!
检查点二:如果在集群中部署了多Executor模式。那么在这种模式下Azkaban web Server会根据策略,选取其中一个Executor取执行任务。如果给Azkaban调度扽脚本所需要的应用只在某些节点部署了。
方案一:指定特定的Executor取执行任务

  1. 在MySQL中azkaban数据库executors表中,查询应用所在节点上的Executor的id。
mysql> use azkaban;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from executors;
+----+-----------+-------+--------+
| id | host          | port  | active |
+----+-----------+-------+--------+
|  1   | hadoop103 | 35985 |      1 |
|  2   | hadoop104 | 36363 |      1 |
|  3   | hadoop102 | 12321 |      1 |
+----+-----------+-------+--------+
3 rows in set (0.00 sec)
  1. 在执行工作流程时加入useExecutor属性,如下
    UiuVVf.png
    方案二:在Executor所在所有节点部署任务所需脚本和应用。

2.upload job时,显示已经上传,但是看不到任务问题

检查.flow的文件,文件名的后缀是否正确。Azkaban并不会告诉你文件后缀不正确。。。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值