Oozie应用开发
要求:
- 了解Oozie应用开发适用场景
- 掌握Oozie应用开发
- 熟悉并使用Oozie常用API
Oozie简介
- Oozie是一个Hadoop作业的工作流调度管理系统
- Oozie工作流(workflow)是放置在控制依赖DAG(有向无环图)中的一组动作(Action)集合,控制依赖可确保后续操作在见面的操作已经成功完成后才会启动。
- Oozie的协调作业(Coordinator)是通过时间(频率)和有效数据来触发当前的Oozie工作流。
- Oozie支持多种Hadoop作业(包括:HDFS,Map Reduce、Hive、Streaming MP、Loader、Spark、Distcp)以及系统类作业(Java和shell)
Oozie应用场景
Oozie是一个工作流调度引擎,对各种类型的Hadoop作业进行编排与调度。
-
- 编排与管理逻辑复杂的多种类型的Hadoop
- 基于时间(频率)触发工作流
- 基于数据有效性触发工作流
- 实时监控与管理集群的工作流,快速定位问题