Azkaban 部署注意事项

1.打包:./gradlew clean build
2.修改配置文件:位置在conf下面的azkaban.properties
3.部署:主要部署azkaban-web-server(页面操作),azkaban-exec-server(具体的exec),部署时注意要先部署azkaban-exec-server,部署成功之后需要修改数据库中exectors表中的对应实例active字段为1激活该exectors,否则会报:

azkaban.executor.ExecutorManagerException: No active executors found 错误

这里要注意的是修改完该字段的值的时候并没有结束,此时执行job会报错

[Azkaban] executor became inactive before setting up the flow

这是因为光激活了数据库中的状态,但是内存中的状态还是未激活,所以需要重启或者调用这个链接

curl http://localhost:port/executor?action=activate

注意事项:
使用虚拟机进行部署时可能无法正常执行任务,原因在于原来的配置文件中存在三个filter
在这里插入图片描述
StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus这三个filter分别对应的时所剩任务数,最小空闲内存(不得低于6G),cpu状态其中内存的要求为

This filter will filter out any executors that has the remaining  memory below 6G

如果想要在小型机器上部署需要将filters中配置得MinimumFreeMemory去掉。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三寸花笺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值