大数据(十二) - Oozie

最新推荐文章于 2022-04-30 07:30:00 发布

码农的世界，你不懂

最新推荐文章于 2022-04-30 07:30:00 发布

阅读量116

点赞数

本文链接：https://blog.csdn.net/u010395024/article/details/103182124

版权

本文介绍了大数据环境中统一管理和调度各种计算框架和作业的需求，如MapReduce、Hive和Pig等。提到了Oozie作为Hadoop作业流调度系统的功能，包括按周期和定时调度作业、支持容错与报警、提供可视化界面。Oozie的基本架构、运行流程、使用方式以及其支持的行为节点和控制流节点被详细阐述，还提到了其他开源调度系统如Azkaban和Zeus。

摘要由CSDN通过智能技术生成

基本概念
目前计算框架和作业类型繁多：
      MapReduce Java、Streaming、HQL、Pig等
如何对这些框架和作业进行统一管理和调度：
      不同作业之间存在依赖关系（DAG）；
      周期性作业
      定时执行的作业
      作业执行状态监控与报警
多种解决方案：
      Crontab
      自己设计调度系统
      直接使用开源系统

Hadoop作业流调度系统基本功能对常见作业类型进行调度
      MapReduce（Java、Streaming等）作业
      Hive作业
      Pig作业
      Shell ….
   根据需要对作业进行调度
      按周期调度
      定时调度……
   支持容错与报警
   可视化作业流运行过程

常见的开源作业流调度系统    Oozie （已经成为hadoop标配）
      Yahoo！开源，基于xml表达作业依赖关系；
Azkaban
      Linkedin开源，通过Java property配置作业依赖关系
Zeus（宙斯）（据说不再更新）
      阿里开源，通过界面配置作业依赖关系
其他开源系统