Azkaban
分享大数据学习相关内容,以及在工作中遇到的大数据问题
程序员X小鹿
前互联网大厂程序员/AIGC爱好者/自由职业2年+
展开
-
Azkaban(三)—— Azkaban任务
文章目录1. 案例一:单一job2. 案例二:创建有依赖关系的多个job3. 案例三:使用Azkaban调度java程序4. 案例四:HDFS操作任务5. 案例五:MapReduce任务(见案例二)6. 案例六:Hive脚本任务 Azkaban上传的工作流文件只支持xxx.zip文件。zip应包含xxx.job运行作业所需的文件和任何文件(文件名后缀必须以.job结尾,否则无法识别)。作业名称在项...原创 2020-03-11 16:50:50 · 682 阅读 · 0 评论 -
Azkaban(一)—— Azkaban介绍
文章目录1.1 为什么需要工作流调度系统1.2 什么是Azkaban1.3 Azkaban适用场景1.4 Azkaban特点1.5 常见的工作流调度系统1.6 Azkaban和Ooize特性对比1.7 Azkaban的架构 1.1 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成:Shell脚本程序,Java程序,MapReduce程序、Hive脚本等。 各任务单...原创 2020-03-11 16:44:32 · 615 阅读 · 0 评论