Apache Oozie笔记

Apache Oozie

• Apache oozie

  • 是一个工作流调度软件 本身属于cloudera 后来贡献给了apache
  • oozie目的根据一个定义DAG（有向无环图）执行工作流程
  • oozie本身的配置是一种xml格式的配置文件 oozie跟hue配合使用将会很方便
  • oozie特点：顺序执行 周期重复定时 可视化 追踪结果

• Apache Oozie

  • Oozie client：主要是提供一种方式给用户进行工作流的提交启动（cli javaapi rest）

  • Oozie server(本身是一个java web应用)

  • Hadoop生态圈

    • oozie各种类型任务提交底层依赖于mr程序 首先启动一个没有reducetak的mr 通过这个mr

      把各个不同类型的任务提交到具体的集群上执行

---

• oozie 流程节点

  • oozie 核心配置是在一个workflow.xml文件 文件中顶一个工作流的执行流程规则

  • 类型

    • control node 控制工作流的执行路径：start end fork join kill
    • action node 具体的任务类型：mr spark shell java hive

    上述两种类型结合起来 就可以描绘出一个工作流的DAG图。

• oozie工作流类型

  • workflow 基本类型的工作流 只会按照定义顺序执行 无定时触发