11、Oozie 工作流调度技术

1.Oozie 简介

Oozie 是一个 Hadoop 作业的工作流调度管理系统。Oozie 工作流（Workflow）是放置在控制依赖 DAG（有向无环图）中的一组动作（Action）集合，控制依赖可确保后续操作在前面的操作已成功完成后才会启动。Oozie 的协调作业（Coordinator）是通过时间（频率）和有效数据来触发当前的 Oozie 工作流。

Oozie 支持多种 Hadoop 作业（包括：HDFS，MapReduce，Hive，StreamingMR，Loader，Spark，Distcp）以及系统类作业（例如 Java 与 Shell）。

Oozie 支持如下三种引擎：

WorkflowEngine 工作流引擎：以 Action 的方式运行工作流 Job，用来执行 Map/Reduce 与 Pig 等 Job。CoordinatorEngine 协调员引擎：基于时间和数据触发器运行工作流（Workflow），它可以定时调度工作流(例如每隔