Oozie的安装与使用

最新推荐文章于 2022-09-24 21:08:13 发布
最新推荐文章于 2022-09-24 21:08:13 发布
阅读量1.2k 收藏 5
点赞数 1
分类专栏： Oozie 大数据全家桶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45538338/article/details/106493208
版权
本文详细介绍了Oozie的安装步骤，包括修改配置文件、安装数据库、上传依赖到HDFS等，并讲解了如何使用Oozie调度shell、Hive、MapReduce任务，以及任务串联和定时任务的设定。Oozie是Hadoop平台上的工作流调度引擎，可管理和调度多种Hadoop任务。
摘要由CSDN通过智能技术生成

文章目录

1、Oozie的介绍

  Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。
在这里插入图片描述
oozie的组件介绍
  workFlow： 工作流，定义工作流任务的执行，主要由一个个的action组成，每个action都是一个任务，在xml中进行配置即可
  Coordinator ： 协作器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。也是oozie当中的定时任务调度的模块,
  Bundle ： 捆，束。多个Coordinator 的抽象，可以通过bundle将多个Coordinator 进行组装集合起来，形成一个bundle
在这里插入图片描述

2、oozie的架构

在这里插入图片描述

3、oozie的安装

第一步：修改core-site.xml

修改core-site.xml添加我们hadoop集群的代理用户

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim  core-site.xml

<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

注意： hadoop的历史任务的服务必须启动，即19888端口可以查看。
修改完成之后，记得重启hadoop的hdfs与yarn集群，还要记得启动jobhistory

重启hdfs与yarn集群

cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh

第二步：上传oozie的安装包并解压

将oozie的安装包上传到/export/softwares

cd /export/softwares/
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz -C ../servers/

第三步：解压hadooplibs到与oozie平行的目录

cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz -C ../

在这里插入图片描述

第四步：创建libext目录

在oozie的安装路径下创建libext目录

cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir -p libext

第五步：拷贝依赖包到libext

拷贝一些依赖包到libext目录下面去
拷贝所有的依赖包

cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/

拷贝mysql的驱动包

cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /export/servers/oozie-4.1.0-cdh5.14.0/libext/

第六步：添加ext-2.2.zip压缩包

拷贝ext-2.2.zip这个包到libext目录当中去
将我们准备好的软件ext-2.2.zip拷贝到libext目录当中去

第七步：修改oozie-site.xml

cd /export/servers/oozie-4.1.0-cdh5.14.0/conf
vim oozie-site.xml

如果没有这些属性，直接添加进去即可，oozie默认使用的是UTC的时区，我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
	
	<property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value>
    </property>
	
	
	<property>
		<name>oozie.service.JPAService.jdbc.username</name>
		<value>root</value>
	</property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>123456</value>
    </property>

	<property>
			<name>oozie.processing.timezone</name>
			<value>GMT+0800</value>
	</property>


	<property>
		<name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
	
	
    <property>   <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name>
        <value>*</value>
    </property>
	
	<property>
        <name>oozie.service.coord.check.maximum.frequency</name>
		<value>false</value>
    </property>     


	<property>
	<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value>
    </property>

第八步：创建mysql数据库

mysql -uroot -p
create database oozie;

第九步：上传oozie依赖的jar包到hdfs上面去

上传oozie的解压后目录的yarn.tar.gz到hdfs目录去

bin/oozie-setup.sh  sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz

实际上就是将这些jar包解压到了hdfs上面的路径下面去了

第十步：创建oozie的数据库表

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh  db create -run -sqlfile oozie.sql

第十一步：打包项目，生成war包

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh  prepare-war

第十二步：配置oozie的环境变量

vim /etc/profile

export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0
export OOZIE_URL=http://node03.hadoop.com:11000/oozie
export PATH=:$OOZIE_HOME/bin:$PATH

source /etc/profile

在这里插入图片描述

第十三步：启动与关闭oozie服务

启动命令

cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start

关闭命令

bin/oozied.sh stop

在这里插入图片描述

第十四步：浏览器页面访问oozie

http://node03:11000/oozie/

解决oozie的页面的时区问题：
我们页面访问的时候，发现oozie使用的还是GMT的时区，与我们现在的时区相差一定的时间，所以我们需要调整一个js的获取时区的方法，将其改成我们现在的时区

修改js当中的时区问题

cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozie
vim oozie-console.js

function getTimeZone() {
   
    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
    return Ext.state.Manager.get("TimezoneId","GMT+0800");
}

重启oozie即可

cd /export/servers/oozie-4.1.0-cdh5.14.0

关闭oozie服务

bin/oozied.sh stop

启动oozie服务

bin/oozied.sh start

4、oozie的使用

KEY 含义
nameNode HDFS地址
jobTracker jobTracker（ResourceManager）地址
queueName Oozie队列（默认填写default）
examplesRoot 全局目录（默认填写examples）
oozie.usr.system.libpath 是否加载用户lib目录（true/false）
oozie.libpath 用户lib库所在的位置
oozie.wf.application.path Oozie流程所在hdfs地址（workflow.xml所在的地址）
user.name 当前用户
oozie.coord.application.path Coordinator.xml地址（没有可以不写）
oozie.bundle.application.path Bundle.xml地址（没有可以不写）

4.1、使用oozie调度shell脚本

  oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给我们带了各种测试案例，我们可以通过官方提供的各种案例来对oozie进行调度

第一步：解压官方提供的调度案例

  oozie自带了各种案例，我们可以使用oozie自带的各种案例来作为模板，所以我们这里先把官方提供的各种案例给解压出来

cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxf oozie-examples.tar.gz

在这里插入图片描述

第二步：创建工作目录

在任意地方创建一个oozie的工作目录，以后调度任务的配置文件全部放到oozie的工作目录当中去
我这里直接在oozie的安装目录下面创建工作目录

cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir oozie_works

第三步：拷贝任务模板到工作目录当中去

任务模板以及工作目录都准备好了之后，我们把shell的任务模板拷贝到我们oozie的工作目录当中去

cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -r examples
最低0.47元/天 解锁文章
oozie的安装与使用
lsy107816的博客
01-03 451
oozie的安装与使用 oozie的介绍： oozie是一个任务调度的框架，由cloudera公司开源，所有的调度任务由一个mr程序去启动，主要使用一种有向无环图的方式来管理执行任务，定义的语言使用xml来定义，如果需要单独使用oozie，使用azkaban替换使用，这里可以将oozie和hue整合之后来使用 oozie的架构： 客户端：主要用于提交任务 服务端：主要用于接收任务，准备执行，运行在...
oozie的安装和使用
08-01
包括安装，配置，使用，shell action ，hive action，MapReduce action，sqoop action。
Oozie的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1410
本实验练习Oozie的安装和配置，然后运行例子进行oozie的功能测试。学会Oozie的安装和使用Ubuntu16.04、mysql-5.7.22、oozie-4.3.0、hadoop-2.7.3、jdk1.8.0_73解压编译好的oozie安装包，然后进行配置,配置主要有hadoop文件的配置和oozie文件的配置。 ♥ 知识链接 oozie简介   Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：1.工作流定义，2.当前
Oozie 快速入门
weixin_33924312的博客
09-22 295
设想一下，当你的系统引入了spark或者hadoop以后，基于Spark和Hadoop已经做了一些任务，比如一连串的Map Reduce任务，但是他们之间彼此右前后依赖的顺序，因此你必须要等一个任务执行成功后，再手动执行第二个任务。是不是很烦！ 这个时候Oozie（驯象人，典故来自评论一楼）就派上用场了，它可以把多个任务组成一个工作流，自动完成任务的调用。 简介 Oozie是一个基于工作流引擎...
Oozie安装教程
01-07
文章目录一、安装Hadoop CDH环境1.上传安装包2.解压3.修改配置文件3.1hadoop-env.sh3.2mapred-env.sh3.3yarn-env.sh3.4core-site.xml3.5hdfs-site.xml3.6mapred-site.xml3.7yarn-site.xml3.8slaves...本人在安装oozie的
Oozie的安装与配置.docx
10-16
【Oozie的安装与配置】是Hadoop生态系统中的一个重要环节，Oozie是一个工作流调度系统，用于管理和协调Hadoop集群上的各种作业，如MapReduce、Pig、Hive、Spark等。以下是对Oozie安装配置过程的详细解释： 1. **所...
Oozie安装
maclaren001的专栏
04-07 1200
安装Oozie的过程真的是一把血泪史，太TM反人类了，过程无比艰辛，感觉和Tez的安装一样，过程繁杂且问题频出。 环境： CentOS6.5 * 3 ZooKeeper 3.4.5-cdh5.7.1 Hadoop 2.6.0-cdh5.7.1 Oozie oozie-4.1.0-cdh5.7.1 1.下载oozie-4.1.0-cdh5.7.1.tar.gz 这个包非常大，有
oozie的安装
Fenggms的博客
10-05 363
Oozie的简介 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 Oozie是根据有向无环图(DAGDirect Acyclic Graph)的模式对action的执行时间与执行顺序进行管理调度的。 oozie的架构 oozie的组件介绍 workFlow：工作流，定义我们的工作流的任务的执行，主要由一个个的ac...
Oozie的安装及使用
qq_44509920的博客
06-29 382
文章目录1、Oozie的介绍oozie的组件介绍2、oozie的架构3、oozie的安装4、oozie的使用4.1、使用oozie调度shell脚本4.2、使用oozie调度hive4.3、使用oozie调度MR任务4.4、oozie的任务串联4.5、oozie的任务调度,定时任务执行 1、Oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 oozie的组件介绍 workFlow：工作流，定义工作流任务的执行
Oozie的使用
01-20
文章目录1.Oozie调度shell脚本1.1解压官方案例模板1.2创建工作目录1.3拷贝任务模板到oozie-apps1.4编写脚本p1.sh1.5修改配置文件1.5.1job.properties1.5.2workflow.xml1.6上传任务到hdfs1.7执行任务2.Oozie逻辑调度执行多个Job2.1增加脚本2.2修改配置文件2.2.1job.properties2.2.2workflow.xml2.3上传任务到hdfs2.4执行任务3.Oozie调度MapReduce任务3.1拷贝官方案例模板3.2测试mapreduce jar3.3修改配置文件3.3.1job.properti
Oozie的简单使用
Jorocco的博客
05-26 5535
1、Oozie的介绍     Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Hive等任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat中。Oozie以action为基本任务单位，可以将多个action构成一个DAG图（有向无环图Direct Acyclic Graph...
Oozie --入门安装介绍
kismet
06-02 2421
Oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 oozie的组件介绍 workFlow：工作流，定义工作流任务的执行，主要由一个个的action组成，每个action都是一个任务，在xml中进行配置即可 Coordinator：协作器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。也是oozie当中的定时任务调度的模块, Bundle：捆，束。多个Coordinat..
大数据之oozie的安装
海涛高软
09-30 242
FR：徐海涛（hunk xu) QQ技术交流群：386476712
oozie的介绍与安装
First_____的博客
07-07 276
介绍 Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。(一种xml定制的流程控制语言);。 Oozie 的目的是按照 DAG（有向无环图）调度一系列的 Map/Reduce 或者 Hive等任务。 适用场景: 需要按顺序进行一系列任务； 需要并行处理的任务； 需要定时、周期触发的任务； 可视化作业流运行过程； 运行结果或异常的通报 架构: Oozie Client：提供命令行、java api、rest 等方式，对 Oozie 的工作流 流程的提交、启动、运行等
Oozie的详细使用
@小刘同学nice
07-15 2555
案例一：Oozie调度shell脚本 目标：使用Oozie调度Shell脚本 分步实现： 创建工作目录 [liujh@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir -p oozie-apps/shell 在oozie-apps/shell目录下创建两个文件——job.properties和workflow.xml文件 [liujh@hadoop102 sh...
Oozie的基本使用
weixin_44809337的博客
09-24 1021
Oozie的基本使用
Apache Oozie 4.0.1与Hadoop 2.3.0安装教程
HBase、Hive、Pig和Sqoop的版本也进行了相应的设置，确保与Oozie兼容。在编译阶段，使用mvn clean package assembly:single-DskipTests命令，如果遇到网络问题，可能需要多次尝试。 编译完成后，生成的oozie-4.0.1-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值