待验证的问题
- Azkaban 能否避免一个作业的并发调度,即当前一个作业还在运行中,该作业再次到达调度时间时能否被控制不调度 ?
- 一个作业是否能适配多条调度规则,如每小时调度一次,同时在每天12:30调度一次 ?
- 多条调度规则之间是否可以控制,当调度冲突时的处理策略是什么 ?
问题1
不可以。
确实设置调度规则为串行调度后会按照串行调度,在上一个作业没有运行完毕后,不会再调度相同的作业,哪怕到达了调度时间。 但是需要注意的是,这里的作业执行完毕是指对 Azkaban 而言,如果我们用异步 shell 脚本或其他 detach 模式提交 Flink 作业到 Yarn 上,一旦作业提交后对 Azkaban 而言,作业就已经运行完毕了。所以,Azkaban 是不会保证 Yarn 上的作业还没有执行完不再并发调度的。
问题2
不可以。
Azkaban 支持 crontab 表达式调度作业,一条 crontab 表达式只能支持一种模式的调度规则,但是如果一个作业每小时调度一次,同时要求该作业每天12:30调度一次,这种一条 crontab 表达式是做不到的。可以使用取巧的方式,比如通过嵌套流的方式实现类似功能,新建一个 flow ,然后该 flow 里面有个嵌套流节点,去嵌套一个同样的作业 ,新建的flow是每小时调度,然后该flow下嵌套flow单独设置为12:30。但是这种使用模式下,就相当于存在了两个相同的作业,这对于作业状态的控制会变得复杂,如问题1和问题3。