Azkaban
贾诩是也
走过很多弯路,一直坚强、执着的眺望着远方、、、一个听着小米布斯故事成长起来的老码农。不忘初心,方得始终、、、给自己鼓劲加油,为这个时代华丽的时代喝彩!
展开
-
Azkaban初步使用(二)
背景 实际当中经常有这些场景:每天有一个大任务,这个大任务可以分成A,B,C,D四个小任务,A,B任务之间没有依赖关系,C任务依赖A,B任务的结果,D任务依赖C任务的结果。一般的做法是,开两个终端同时执行A,B,两个都执行完了再执行C,最后再执行D。这样的话,整个的执行过程都需要人工参加,并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的,通过写脚本设置crontab执行。其实,原创 2017-11-25 15:05:01 · 745 阅读 · 0 评论 -
2种hadoop工作流调度器比较(Oozie、Azkaban)
https://github.com/azkaban/azkaban 1.概述 在调度 Hadoop 的相关作业时,有以下几种方式: 基于 Linux 系统级别的 Crontab。Java 应用级别的 Quartz。第三方的调度系统。自行开发 Hadoop 应用调度系统。 对于前两种,使用 Crontab 和 Quartz 是基本可以满足业务需求,但有其弊端。在 Job 数原创 2017-11-25 15:18:45 · 3419 阅读 · 0 评论