Apache Oozie
Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera 公司贡献给 Apache。 Oozie 是运行于 Java servlet 容器上的一个 java web 应用。 Oozie 的目的是按照 DAG(有向无环图) 调度一系列的 Map/Reduce 或者 Hive 等任务。 Oozie 工作流由 hPDL(Hadoop Process Definition Language)定义 (这是一种 XML 流程定义语言)。
Oozie 的架构
-
Oozie Client
-
提供命令行、 java api、 rest 等方式,对 Oozie 的工作流流程的提交、启动、运行等操作;
-
-
Oozie WebApp
-
即 Oozie Server,本质是一个 java 应用。可以使用内置的 web 容器, 也可以使用外置的 web 容器;
-
-
Hadoop Cluster:
-
底层执行 Oozie 编排流程的各个 hadoop 生态圈组件;
-
Oozie 基本原理
Oozie 对工作流的编排, 是基于 workflow.xml 文件来完成的。用户预先将工作流执行规则定制于 workflow.xml 文件中,并在 job.properties 配置相关的参数, 然后由 Oozie Server 向 MR 提交 job 来启动工作流。
Oozie 工作流类型
-
Workflow
-
规则相对简单,不涉及定时、批处理的工作流。顺序执行流程节点。
-
workflow有个大缺点:没有定时和条件触发功能
-
-
Coordinator
-
Coordinator 将多个工作流 Job 组织起来,称为 Coordinator Job,并指定触发时间和频率,还可以配置数据集、并发数等,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流 Job 的运行。
-
-
Bundle
-
针对 coordinator 的批处理工作流。
-
Bundle 将多个 Coordinator 管理起来,这样我们只需要一个 Bundle 提交即可。
-