Oozie-简介及部署

最新推荐文章于 2020-09-08 20:10:46 发布

青岛欢迎您

最新推荐文章于 2020-09-08 20:10:46 发布

阅读量615

点赞数

分类专栏：大数据文章标签： oozie简介及部署

本文链接：https://blog.csdn.net/liberty12345678/article/details/86539244

版权

本文介绍了Oozie作为一个工作流管理系统，用于协调Hadoop生态系统中的任务，包括MapReduce、Java、Shell和Hive等。Oozie通过工作流定义文件来管理复杂的任务流程，当某个任务失败时，后续任务不会被触发。文章详细阐述了Oozie的部署步骤，包括配置Hadoop，安装Oozie，创建数据库，初始化Oozie，以及启动和访问Oozie服务。

摘要由CSDN通过智能技术生成

1、Oozie简介

1.1、Oozie简介

现实业务中处理数据时不可能只包含一个MR操作，一般都是多个MR，并且中间还可能包含多个Java或HDFS，甚至是shell的操作，利用Oozie可以完成这些任务。

实际上Oozie不是仅用来配置多个MR工作流的，它可以是各种程序夹杂在一起的工作流，比如执行一个MR1后，接着执行一个java脚本，再执行一个shell脚本，接着是Hive脚本，然后又是Pig脚本，最后又执行了一个MR2，使用Oozie可以轻松完成这种多样的工作流。使用Oozie时，若前一个任务执行失败，后一个任务将不会被调度。

Oozie是一个工作流引擎服务器，用于运行hadoop map/reduce和hive等任务工作流，同时Oozie还是一个Java web程序，运行在Java Servlet容器中，如Tomcat中。Oozie以action为基本任务单元，可以将多个action构成一个DAG图，（有向五环图Direct Acyclic Graph）的模式进行运行。Oozie工作流通过HPDL(一种通过XML自定义处理的语言)来构造Oozie的工作流。一个Oozie服务器主要包括四个服务：Oozie Workflow,Oozie Coordinator,Oozie Bundle和Oozie SLA(Oozie服务器等级协定)。
a、Oozie Workflow:该组件用于定义和执行一个特定顺序的mapreduce,hive和pig作业。
b、Oozie Coordinator:该组件用户支持基于事件，系统资源存在性等条件的workflow的自动化执行。
c、Oozie Bundle:该引擎可以定义和执行“一束”应用，从而提供一