oozie 原理和调度流程

oozie
原理和调度流程
Oozie 是一个用来管理 Hadoop job 任务的工作流引擎。它能够提供对 Hadoop MapReduce 和 Pig Jobs 的任务调度与协调。支持多种工作流模式及流程定时触发机制。易扩展、易维护、高可靠性、与 Hadoop 生态系统各组件紧密结合。
Oozie 提供了类似的流程定义语言 hPDL，通过 XML 文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等，Oozie 也有类似的一些概念。

Oozie 主要特点如下:
支持分发、聚合、选择等工作流流程模式。
与 Hadoop 生态系统紧密结合。
流程变量支持参数化。
支持流程定时触发。
提供了 HA 机制。
自带 Web Console，提供了流程查看、流程监控、日志查看等功能。
Oozie 流程的三种类型 :
WorkFlow：描述一个完整业务的基本流程。
Coordinator：coordinator 流程构建在 workflow 流程之上，实现了对 workflow 流程的定时触发、按条件触发功能。
Bundle：bundle 流程构建在 coordinator 流程之上，提供对多个 coordinator 流程的统一调度、控制和管理功能。

job.properties
job.properties文件中主要定义workflow.xml文件中要用的参数
nameNode=hdfs://nameservice1 jobTracker=yarnRM
#queueName=QueueA
#dataLoadRoot=examples
#oozie.coord.application.path=KaTeX parse error: Expected 'EOF', got '#' at position 27: …user/lsz/oozie #̲start=2013-04-0…{nameNode}/user/app5/${dataLoadRoot}/apps/dataLoad oozie.wf.application.path=/user/app1/lsz/oozie/shell

workflow.xml
描述了一个完整业务的流程定义文件。一般由一个 start 节点、一个 end 节点和多个实现具体业务的 action 节点组成
workflow里面引用的变量都在job.properties里面定义
workflow.xml的文件名不能变，必须叫workflow.xml
coordinator.xml
coordinator.xml的名字不能改变
里面定义的时间参数直接传给workflow里面使用，里面定义的时间一般是系统时间-1