Azkaban 调研

Azkaban无法避免作业并发调度,即使作业正在运行,到达调度时间也会被再次调度。作业不能适配多条调度规则,调度冲突时无法控制处理策略。Azkaban的调度系统适合通用批作业,但不适用于需要灵活调度规则的场景。
摘要由CSDN通过智能技术生成

待验证的问题

  1. Azkaban 能否避免一个作业的并发调度,即当前一个作业还在运行中,该作业再次到达调度时间时能否被控制不调度 ?
  2. 一个作业是否能适配多条调度规则,如每小时调度一次,同时在每天12:30调度一次 ?
  3. 多条调度规则之间是否可以控制,当调度冲突时的处理策略是什么 ?
问题1

不可以。

确实设置调度规则为串行调度后会按照串行调度,在上一个作业没有运行完毕后,不会再调度相同的作业,哪怕到达了调度时间。 但是需要注意的是,这里的作业执行完毕是指对 Azkaban 而言,如果我们用异步 shell 脚本或其他 detach 模式提交 Flink 作业到 Yarn 上,一旦作业提交后对 Azkaban 而言,作业就已经运行完毕了。所以,Azkaban 是不会保证 Yarn 上的作业还没有执行完不再并发调度的。

问题2

不可以。

Azkaban 支持 crontab 表达式调度作业,一条 crontab 表达式只能支持一种模式的调度规则,但是如果一个作业每小时调度一次,同时要求该作业每天12:30调度一次,这种一条 crontab 表达式是做不到的。可以使用取巧的方式,比如通过嵌套流的方式实现类似功能,新建一个 flow ,然后该 flow 里面有个嵌套流节点,去嵌套一个同样的作业 ,新建的flow是每小时调度,然后该flow下嵌套flow单独设置为12:30。但是这种使用模式下,就相当于存在了两个相同的作业,这对于作业状态的控制会变得复杂,如问题1和问题3。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值