---- Azkaban
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
云 祁
Focus BigData,专注于大数据技术领域的知识分享。
展开
-
【Azkaban 】(二)十分钟搞定 Azkaban 安装,亲测完美!
文章目录一、安装过程1、软件介绍2、软件下载3、安装说明4、安装步骤5、启动6、验证一、安装过程1、软件介绍Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gzAzkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gzAzkaban 初始化脚本文件:azkaban-sql-script-2...原创 2020-04-12 23:56:32 · 696 阅读 · 8 评论 -
【Azkaban】(一)Azkaban 入门
一、为什么需要工作流调度器1、一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等2、各任务单元之间存在时间先后及前后依赖关系3、为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行例如,我们可能有这样一个需求,某个业务系统每天产生 20G 原始数据,我们每天都要对其进行处理,处理步骤如下所示:...原创 2020-04-11 23:46:21 · 318 阅读 · 4 评论