azkaban配置属性归纳及界面属性整理（配置篇）

最新推荐文章于 2024-06-02 19:30:17 发布

weixin_34342992

最新推荐文章于 2024-06-02 19:30:17 发布

阅读量1.2k

点赞数

文章标签：大数据 python 数据库

原文链接：https://my.oschina.net/u/2988360/blog/1537548

版权

2019独角兽企业重金招聘Python工程师标准>>>

花了好几天时间研究任务调度系统azkaban，现将azkaban中一些重要属性以及界面功能使用及配置做个简单的归纳

属性配置

1. Multiple Executor Mode模式配置

azkaban.use.multiple.executors=true

//execute主机过滤器配置

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1

azkaban.executorselector.comparator.Memory=1

azkaban.executorselector.comparator.LastDispatched=1

azkaban.executorselector.comparator.CpuUsage=1

2.用户管理插件配置

//自定义用户管理，默认使用XMLUserManager 
user.manager.class=MyUserManagerClass

3.job内存及并发线程数设置

//初始化job时单个job最大申请内存大小
job.max.Xms=1G
//单个job执行总内存大小设置（包括初始化要分配的内存和运行时需要给予的内存）
job.max.Xmx=2G
//每个flow内job执行的最大并发线程数
flow.num.job.threads=10

4.邮件配置

mail.sender=wenhaijin@it.clio.com
mail.host=10.6.0.47
mail.user=wenhaijin@it.clio.com
mail.password=password

5.session属性设置

//session存活时间（seconds）
session.time.to.live=86400000
//session最大存活数量
max.num.sessions=10000

6.日志kafka对接（custom从kafka消费后可写入日志平台例如ELK进行分析）

azkaban.server.logging.kafka.brokerList=localhost:9092
azkaban.server.logging.kafka.topic=azkaban-logging

7.job个性化设置

//单个job执行失败后的重试次数
retries=3
//单个job执行邮件设置
failure.emails=
success.emails=
notify.emails=

界面配置

1.执行flow中的单个job

2.执行flow的时候忽略某个job

3.单次执行结果邮件通知设置

4.运行时参数传递（会覆盖配置文件中的参数）

5.各job执行日志详情查看

6.整个flow执行日志查看

7.开始执行时间及定时执行间隔设置

转载于:https://my.oschina.net/u/2988360/blog/1537548