Azkaban
Azkaban框架相关博客
mpmt91
now or next
展开
-
Azkaban Executor 设置任务并行度
Azkaban Executor 设置任务并行度1.问题描述最近使用Azkaban进行Hive的任务调度,工作流结构如下其中每一层都是一个工作流,每一层并行任务最少有5个,最多有二十多个,下一层执行依赖于上一层,但是在实际执行过程中,同一层最多只有10个任务并行执行。2.问题分析查看Yarn的Schedular,发现资源并不紧缺,联想到这是Azkaban的配置问题。查看AzkabanExecutorConfiguration参数配置,发现需要重新设置flow.num.job.threads,该原创 2021-03-09 18:48:45 · 1373 阅读 · 0 评论 -
Azkaban嵌套流的依赖
Azkaban嵌套流的依赖在Azkaban工作流的定义文件中可以添加子工作流查看官方文档https://azkaban.readthedocs.io/en/latest/createFlows.html给出了Embedded Flows定义嵌套工作流的实例nodes: - name: jobC type: noop dependsOn: - embedded_flow - name: embedded_flow type: flow conf原创 2021-03-07 00:41:55 · 1198 阅读 · 2 评论