![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Azkaban
文章平均质量分 66
进击的大波
这个作者很懒,什么都没留下…
展开
-
Azkaban execute-as-user配置及关闭user-to-proxy
为了保证系统的安全性,Azkaban向用户提供了一种采用executor机器上的Linux用户执行job的方式,即execute-as-user。本文将说明Azkaban如何配置execute-as-user,并且修改Azkaban源代码,默认禁用user-to-proxy,强制Azkaban用户以当前身份提交作业。1. 创建Linux用户和用户组在Azkaban所有机器上创建用户,并将这些用户都加入到一个用户组中,选择其中一个用户启动Azkaban服务。为了举例方便,此处创建了四个用户,并将这些用户加原创 2022-05-29 11:33:16 · 578 阅读 · 0 评论 -
Azkaban多Executor模式flow提交到同一个Executor问题
文章目录背景代码解析参数设置背景Azkaban在多Executor模式下,Webserver会根据当前Executor的状态,选择一个合适的Executor执行job。但是,当同一时间点,比如整点的时候,同时有多个schedule flow被调度的时候,会出现连续多个flow被调度到同一个Executor执行,其它的Executor却没有flow执行的情况。代码解析Azkaban webserver在启动的时候,会初始化一个名为executorInfoRefresherService的Service原创 2022-05-25 21:21:46 · 233 阅读 · 0 评论 -
Azkaban源码分析(1)——Executor选择
本文基于Azkaban3.79.0代码版本Mutli Executor模式进行分析。当azkaban.poll.model设为false(默认)的情况下,Executor的管理和flow的调度是通过ExecutorManager类进行管理的,当azkaban.poll.model设为true的情况下,就用ExecutionController类进行代替。在当前生产模式下,较为成熟的还是调用ExecutorManager类进行管理,本文接下来分析的也是ExecutorManager类中Executor的选择原创 2020-07-11 22:09:14 · 594 阅读 · 0 评论