工作流调度器azkaban学习笔记
工作流调度器azkaban
一角残叶
人生如逆旅,我亦是行人
展开
-
工作流调度器azkaban笔记(1)—— azkaban 介绍,安装,测试案例
1 介绍 1.1 需要工作流调度系统的原因 一个完整的数据分析系统通常都是由大量任务单元组成,shell脚本程序,java程序,mapreduce程序、hive脚本等。 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 1.2 数据处理流程 某个业务系统每天产生大量的原始数据,处理步骤如下所示。 通过Hadoop先将原...原创 2018-09-05 23:07:38 · 960 阅读 · 0 评论 -
工作流调度器azkaban笔记(2) —— 案例测试
1原创 2018-09-06 10:19:07 · 414 阅读 · 0 评论