![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Azkaban
香山上的麻雀1008
大数据
展开
-
jdbc读取Gzip编码后的Blob类型的数据
azkaban库中的project_flows 表中的 json 字段是Blob类型的数据,而且经过Gzip 编码,还原过程示例:public static void main(String[] args) { String SELECT_ALL_PROJECT_FLOWS = "SELECT project_id, version, flow_id, modified_time, encoding_type, json " + "F原创 2020-11-02 16:01:51 · 369 阅读 · 0 评论 -
azkaban 中对于任务运行日志的处理
文章目录azkaban任务日志处理方式azkaban日志mysql表信息源码中逻辑处理流程azkaban任务日志处理方式azkaban是将任务的运行日志存储在mysql 表中的,根据任务的exec_id,name,attempt,即可获取对应任务的日志,当日志文件比较大时,日志将按照50KB的规格来进行分段储存,每一段日志都插入一条数据,详细内容如下文。azkaban日志mysql表信息mysql表的schema如下:CREATE TABLE `execution_logs` ( `exec_原创 2020-11-02 15:52:26 · 3116 阅读 · 0 评论 -
从plugin路径中读取依赖并构造对象——Azkaban源码解读之Alert plugin实现(一)
第一步加载类路径:azkaban.executor.AlerterHolderallAlerters 是一个HashMap ,key为String,value为AlertermailAlerter是系统内置的,无需处理,这里要加载的是自定义的插件告警这里边读取配置信息里的alerter.plugin.dir作为pluginDir,也就是插件文件夹然后调用了方法loadPluginAlerters(pluginDir)private Map<String, Alerter> loadAl原创 2020-09-17 20:58:28 · 387 阅读 · 0 评论 -
Azkaban 自定义邮件内容以及格式 源码修改
azkaban 为邮件告警的邮件内容提供了一个接口azkaban.executor.mail.MailCreator如下:public interface MailCreator {//生成第一次失败时发送的邮件内容 boolean createFirstErrorMessage(ExecutableFlow flow, EmailMessage message, String azkabanName, String scheme, String clientHostnam原创 2020-09-15 19:23:44 · 871 阅读 · 0 评论 -
Azkaban 单个Flow 任务执行流程 源码解读
Azkaban框架会将每个Flow抽象为FlowRunner,然后将FlowRunner放入线程池中异步运行,运行过程中涉及到多次修改job的转态,以及将状态持久化到DB元数据库中,这里就从源码角度将整个过程做个简单的分析:先从azkaban.execapp.FlowRunner#runFlow开始分析/** * Main method that executes the jobs. */private void runFlow() throws Exception { this.logg原创 2020-09-14 19:06:10 · 1138 阅读 · 0 评论 -
azkaban在阿里云环境上无法收发邮件(无需编译)
azkaban 部署在阿里云环境上无法收发邮件,报错:connect time out原因是azkaban发送邮件默认使用的是STMP 25端口,但是在阿里云上25端口是被禁用的. 所以需要将25端口换到465端口 采用SSL协议传输邮件(25端口是非SSl协议传输).网上查了不少资料,都说需要改源码重新编译,觉得太麻烦,azkaban应该没有这么智障,一个网络端口还能给写死了?在azkaban-common\src\main\java\azkaban\utils\EmailMessageCreato原创 2020-06-01 14:53:46 · 668 阅读 · 2 评论 -
解决 Azkaban Executor 启动后不会自动激活问题
使用Azkaban调度任务时候总是出错2019/05/21 12:11:03.158 +0800 ERROR [ExecutorManager] [Azkaban] Rolling back executor assignment for execution id:5azkaban.executor.ExecutorManagerException: java.io.IOException: ...原创 2019-05-21 12:54:45 · 4655 阅读 · 5 评论