Azkaban
文章平均质量分 89
大数据任务调度框架Azkaban
Keven He
一个热爱技术的大数据开发者
展开
-
Azkaban简介
一、Azkaban 介绍1.1 背景一个完整的大数据分析系统,必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题:如何定时调度某个任务?如何在某个任务执行完成后再去执行另一个任务?如何在任务失败时候发出预警?…面对这些问题,工作流调度系统应运而生。Azkaban 就是其中之一。1.2 功能Azkaban 产生于 LinkedIn,并经过多年生产环境的检验,它具备以下功能:兼容任何版本原创 2022-05-31 11:34:50 · 2207 阅读 · 0 评论 -
Azkaban 3.x 编译及部署
一、Azkaban 源码编译1.1 下载并解压Azkaban 在 3.0 版本之后就不提供对应的安装包,需要自己下载源码进行编译。下载所需版本的源码,Azkaban 的源码托管在 GitHub 上,地址为 https://github.com/azkaban/azkaban 。可以使用 git clone 的方式获取源码,也可以使用 wget 直接下载对应 release 版本的 tar.gz 文件,这里我采用第二种方式:#下载wget https://github.com/azkaban/az原创 2022-05-31 11:43:46 · 251 阅读 · 0 评论 -
Azkaban Flow 2.0的使用
一、Flow 2.0 简介1.1 Flow 2.0 的产生Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用 Flow 2.0,因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。用户可以将属于给定流的所有 job / properties 文件合并到单个流定义文件中,其内容采用 YAML 语法进行定义,同时还支持在流中再定义流,称为为嵌入流或子流。1.2 基本结构项目 zip 将包含多个流 YA原创 2022-05-31 11:57:41 · 374 阅读 · 0 评论