hadoop-2.5.2+Oozie-4.1.0环境构筑和简单测试

最新推荐文章于 2020-06-07 19:17:09 发布

磨刀人

最新推荐文章于 2020-06-07 19:17:09 发布

阅读量1.3k

点赞数

分类专栏： oozie hadoop 文章标签： apache oozie it

本文链接：https://blog.csdn.net/huyangshu87/article/details/51381443

版权

这篇博客介绍了如何搭建Hadoop-2.5.2与Oozie-4.1.0的环境，并进行了简单的测试。Oozie作为一个作业调度系统，提供了作业工作流的指定，增强了Hadoop的便利性。在搭建过程中，提到了ExtJS版本、sharelib创建和oozie-site.xml配置等关键步骤。在完成环境构筑后，通过oozie命令行工具进行状态检查，并运行了cron测试项，强调了job.properties与Hadoop环境配置的一致性。

摘要由CSDN通过智能技术生成

背景

对于Oozie的理解，我现在也是停留在它是一个job调度系统。至于在有Oozie的情况下，相比之下hadoop的性能是否会有很大的提升，官网中没有给出数据对比，无法直观的看到差异。但相比较没有oozie的hadoop，oozie可以指定workflow，这样在指定的时间段内，根据时间可以触发job，对于经常重复需要运行的作业，还是有很大的方便性。

以下是oozie官网给出的定义：

Oozie is a workflow scheduler system to manage Apache Hadoop jobs.

Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.

Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.

Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the box (such as Java map-reduce, Streaming map-reduce, Pig, Hive, Sqoop and Distcp) as well as system specific jobs (such as Java programs and shell scripts).

Oozie is a scalable, reliable and extensible system.

同类型的产品有 Amazon Data Pipeline 、 Simple Workflow Engine , Azkaban 、 Cascading 、 Hamake 。具体是什么状况，暂时没有去调查，不敢妄下断言去指点江山。

Hortonworks Data Platform、Clouder manager 、Amazon