Azkaban
Azkaban框架相关博客
mp9105
now or next
展开
-
Azkaban Executor 设置任务并行度
Azkaban Executor 设置任务并行度 1.问题描述 最近使用Azkaban进行Hive的任务调度,工作流结构如下 其中每一层都是一个工作流,每一层并行任务最少有5个,最多有二十多个,下一层执行依赖于上一层,但是在实际执行过程中,同一层最多只有10个任务并行执行。 2.问题分析 查看Yarn的Schedular,发现资源并不紧缺,联想到这是Azkaban的配置问题。 查看AzkabanExecutorConfiguration参数配置,发现需要重新设置flow.num.job.threads,该原创 2021-03-09 18:48:45 · 1268 阅读 · 0 评论 -
Azkaban嵌套流的依赖
Azkaban嵌套流的依赖 在Azkaban工作流的定义文件中可以添加子工作流 查看官方文档 https://azkaban.readthedocs.io/en/latest/createFlows.html 给出了Embedded Flows定义嵌套工作流的实例 nodes: - name: jobC type: noop dependsOn: - embedded_flow - name: embedded_flow type: flow conf原创 2021-03-07 00:41:55 · 1154 阅读 · 2 评论