azkaban提高并行job数

一.现象

 

原来azkaban的job默认为10，我们需要增大来作为兼容，但是要小心oom的情况发生。所以要注意监控机器。

 

二、来看下介绍

1. Executor Server配置
配置    解释    默认
executor.port    executor server端口    12321
executor.global.properties    全局的配置    无
azkaban.execution.dir    正在执行的job的工作目录    executions
azkaban.project.dir    保存工程的被执行的文件的临时目录    projects
executor.flow.threads    流式执行的线程数    30
job.log.chunk.size    滚动输出的日志的size    5MB
job.log.backup.index    每个日志块的分片    4
flow.num.job.threads    并发运行的flow的jobs的线程    10
job.max.Xms    每个job初始化的内存空间，如果job需要更多的空间，azkaban Server不会启动这个job    1GB
job.max.Xmx    每个job可以申请的最大内存空间，如果job需要更多的空间    azkaban server不会启动这个job
 

三、修改

# default 10 but we need faster
flow.num.job.threads=20
 

 

 

四、重启

./bin/az...start.sh

然后就能同时跑20个job了。

 

发现任务又提速了13秒左右，很棒！继续优化，spark优化。