Oozie的安装与使用

最新推荐文章于 2022-06-30 17:46:32 发布
最新推荐文章于 2022-06-30 17:46:32 发布
阅读量501 收藏
点赞数
分类专栏： Ozzie 大数据 文章标签： 大数据 oozie集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44524441/article/details/106504359
版权
本文档详细介绍了在CDH5环境下安装和使用Oozie的步骤，包括Oozie的组件介绍、安装配置、数据库创建、依赖包上传、环境变量设置、服务启动与关闭、页面访问以及任务调度等。此外，还涵盖了Oozie调度shell脚本、Hive、MapReduce任务的实例，并讨论了任务串联和定时任务执行的配置。
摘要由CSDN通过智能技术生成

Oozie的介绍

Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。

在这里插入图片描述

oozie的组件介绍

workFlow：工作流，定义工作流任务的执行，主要由一个个的action组成，每个action都是一个任务，在xml中	进行配置即可
Coordinator ：协作器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。也是		oozie当中的定时任务调度的模块,
Bundle ：捆，束。多个Coordinator 的抽象，可以通过bundle将多个Coordinator 进行组装集合起来，形成一个	bundle

在这里插入图片描述

oozie的架构

在这里插入图片描述

oozie的安装

第一步：修改core-site.xml
修改core-site.xml添加我们hadoop集群的代理用户
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

	<property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>

注意：hadoop的历史任务的服务必须启动，即19888端口可以查看，具体如何配置19888请查看hadoop课程的环境搭建
修改完成之后，记得重启hadoop的hdfs与yarn集群，还要记得启动jobhistory
重启hdfs与yarn集群
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh

第二步：上传oozie的安装包并解压
将oozie的安装包上传到/export/softwares
cd /export/softwares/
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz -C …/servers/

第三步：解压hadooplibs到与oozie平行的目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxvf oozie-hadooplibs-4.1.0-cdh5.14.0.tar.gz -C …/

第四步：创建libext目录
在oozie的安装路径下创建libext目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir -p libext

第五步：拷贝依赖包到libext
拷贝一些依赖包到libext目录下面去
拷贝所有的依赖包
cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -ra hadooplibs/hadooplib-2.6.0-cdh5.14.0.oozie-4.1.0-cdh5.14.0/* libext/
拷贝mysql的驱动包
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /export/servers/oozie-4.1.0-cdh5.14.0/libext/

第六步：添加ext-2.2.zip压缩包
拷贝ext-2.2.zip这个包到libext目录当中去
将我们准备好的软件ext-2.2.zip拷贝到libext目录当中去

第七步：修改oozie-site.xml
cd /export/servers/oozie-4.1.0-cdh5.14.0/conf
vim oozie-site.xml
如果没有这些属性，直接添加进去即可，oozie默认使用的是UTC的时区，我们需要在我们oozie-site.xml当中记得要配置时区为GMT+0800时区

<property>
    <name>oozie.service.JPAService.jdbc.driver</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

<property>
    <name>oozie.service.JPAService.jdbc.url</name>
    <value>jdbc:mysql://node03.hadoop.com:3306/oozie</value>
</property>


<property>
	<name>oozie.service.JPAService.jdbc.username</name>
	<value>root</value>
</property>

<property>
    <name>oozie.service.JPAService.jdbc.password</name>
    <value>123456</value>
</property>

<property>
		<name>oozie.processing.timezone</name>
		<value>GMT+0800</value>
</property>


<property>
	<name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name>
    <value>*</value>
</property>


<property>   <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name>
    <value>*</value>
</property>

<property>
    <name>oozie.service.coord.check.maximum.frequency</name>
	<value>false</value>
</property>     


<property>
<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
    <value>*=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop</value>
</property>

第八步：创建mysql数据库
mysql -uroot -p
create database oozie;

第九步：上传oozie依赖的jar包到hdfs上面去
上传oozie的解压后目录的yarn.tar.gz到hdfs目录去
bin/oozie-setup.sh sharelib create -fs hdfs://node01:8020 -locallib oozie-sharelib-4.1.0-cdh5.14.0-yarn.tar.gz
实际上就是将这些jar包解压到了hdfs上面的路径下面去了
第十步：创建oozie的数据库表
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh db create -run -sqlfile oozie.sql
第十一步：打包项目，生成war包
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie-setup.sh prepare-war

第十二步：配置oozie的环境变量

vim /etc/profile
export OOZIE_HOME=/export/servers/oozie-4.1.0-cdh5.14.0
export OOZIE_URL=http://node03.hadoop.com:11000/oozie
export PATH=:$OOZIE_HOME/bin:$PATH
source /etc/profile

在这里插入图片描述

第十三步：启动与关闭oozie服务
启动命令
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozied.sh start
关闭命令
bin/oozied.sh stop

在这里插入图片描述

第十四步：浏览器页面访问oozie
http://node03:11000/oozie/

解决oozie的页面的时区问题：
我们页面访问的时候，发现oozie使用的还是GMT的时区，与我们现在的时区相差一定的时间，所以我们需要调整一个js的获取时区的方法，将其改成我们现在的时区

修改js当中的时区问题
cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/webapps/oozie
vim oozie-console.js
function getTimeZone() {
Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
return Ext.state.Manager.get(“TimezoneId”,“GMT+0800”);
}

重启oozie即可
cd /export/servers/oozie-4.1.0-cdh5.14.0
关闭oozie服务
bin/oozied.sh stop
启动oozie服务
bin/oozied.sh start

oozie的使用

使用oozie调度shell脚本

oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给我们带了各种测试案例，我们可以通过官方提供的各种案例来对oozie进行调度
第一步：解压官方提供的调度案例
oozie自带了各种案例，我们可以使用oozie自带的各种案例来作为模板，所以我们这里先把官方提供的各种案例给解压出来
cd /export/servers/oozie-4.1.0-cdh5.14.0
tar -zxf oozie-examples.tar.gz
在这里插入图片描述

第二步：创建工作目录
在任意地方创建一个oozie的工作目录，以后调度任务的配置文件全部放到oozie的工作目录当中去
我这里直接在oozie的安装目录下面创建工作目录
cd /export/servers/oozie-4.1.0-cdh5.14.0
mkdir oozie_works

第三步：拷贝任务模板到工作目录当中去
任务模板以及工作目录都准备好了之后，我们把shell的任务模板拷贝到我们oozie的工作目录当中去
cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -r examples/apps/shell/ oozie_works/

第四步：随意准备一个shell脚本
cd /export/servers/oozie-4.1.0-cdh5.14.0
vim oozie_works/shell/hello.sh
注意：这个脚本一定要是在我们oozie工作路径下的shell路径下的位置

#!/bin/bash
echo "hello world" >> /export/servers/hello_oozie.txt

第五步：修改模板下的配置文件
修改job.properties
cd /export/servers/oozie-4.1.0-cdh5.14.0/oozie_works/shell
vim job.properties

nameNode=hdfs://node01:8020
jobTracker=node01:8032
queueName=default
examplesRoot=oozie_works
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
EXEC=hello.sh

修改workflow.xml
vim workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<shell xmlns="uri:oozie:shell-action:0.2">
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <configuration>
        <property>
            <name>mapred.job.queue.name</name>
            <value>${queueName}</value>
        </property>
    </configuration>
    <exec>${EXEC}</exec>
    <!-- <argument>my_output=Hello Oozie</argument> -->
    <file>/user/root/oozie_works/shell/${EXEC}#${EXEC}</file>

    <capture-output/>
</shell>
<ok to="end"/>
<error to="fail"/>
</action>
<decision name="check-output">
<switch>
    <case to="end">
        ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
    </case>
    <default to="fail-output"/>
</switch>
</decision>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
<message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
</kill>
<end name="end"/>
</workflow-app>

第六步：上传调度任务到hdfs上面去
注意：上传的hdfs目录为/user/root，因为我们hadoop启动的时候使用的是root用户，如果hadoop启动的是其他用户，那么就上传到
/user/其他用户
cd /export/servers/oozie-4.1.0-cdh5.14.0
hdfs dfs -put oozie_works/ /user/root

第七步：执行调度任务
通过oozie的命令来执行调度任务
cd /export/servers/oozie-4.1.0-cdh5.14.0
bin/oozie job -oozie http://bd001:11000/oozie -config oozie_works/shell/job.properties -run
从监控界面可以看到任务执行成功了

在这里插入图片描述
查看hadoop的19888端口，我们会发现，oozie启动了一个MR的任务去执行shell脚本

在这里插入图片描述

使用oozie调度hive

第一步：拷贝hive的案例模板

cd /export/servers/oozie-4.1.0-cdh5.14.0
cp -ra examples/apps/hive2/ oozie_works/

第二步：编辑hive模板
这里使用的是hives

最低0.47元/天 解锁文章
oozie的安装和基本使用
KujyouRuri的博客
04-09 438
oozie的安装和基本使用oozie的介绍oozie的安装解决oozie页面的时区问题oozie的使用使用oozie调度shell脚本使用oozie调度我们的hive使用oozie调度MR任务oozie的任务串联oozie的任务调度,定时任务执行 oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。那么，对于OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）Oozie是根
oozie的安装与使用
lsy107816的博客
01-03 448
oozie的安装与使用 oozie的介绍： oozie是一个任务调度的框架，由cloudera公司开源，所有的调度任务由一个mr程序去启动，主要使用一种有向无环图的方式来管理执行任务，定义的语言使用xml来定义，如果需要单独使用oozie，使用azkaban替换使用，这里可以将oozie和hue整合之后来使用 oozie的架构： 客户端：主要用于提交任务 服务端：主要用于接收任务，准备执行，运行在...
oozie的安装和使用
08-01
包括安装，配置，使用，shell action ，hive action，MapReduce action，sqoop action。
Oozie的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1370
本实验练习Oozie的安装和配置，然后运行例子进行oozie的功能测试。学会Oozie的安装和使用Ubuntu16.04、mysql-5.7.22、oozie-4.3.0、hadoop-2.7.3、jdk1.8.0_73解压编译好的oozie安装包，然后进行配置,配置主要有hadoop文件的配置和oozie文件的配置。 ♥ 知识链接 oozie简介   Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：1.工作流定义，2.当前
Oozie安装教程
01-07
文章目录一、安装Hadoop CDH环境1.上传安装包2.解压3.修改配置文件3.1hadoop-env.sh3.2mapred-env.sh3.3yarn-env.sh3.4core-site.xml3.5hdfs-site.xml3.6mapred-site.xml3.7yarn-site.xml3.8slaves...本人在安装oozie的
Oozie的安装与配置.docx
10-16
【Oozie的安装与配置】是Hadoop生态系统中的一个重要环节，Oozie是一个工作流调度系统，用于管理和协调Hadoop集群上的各种作业，如MapReduce、Pig、Hive、Spark等。以下是对Oozie安装配置过程的详细解释： 1. **所...
Oozie的安装及使用
qq_44509920的博客
06-29 370
文章目录1、Oozie的介绍oozie的组件介绍2、oozie的架构3、oozie的安装4、oozie的使用4.1、使用oozie调度shell脚本4.2、使用oozie调度hive4.3、使用oozie调度MR任务4.4、oozie的任务串联4.5、oozie的任务调度,定时任务执行 1、Oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 oozie的组件介绍 workFlow：工作流，定义工作流任务的执行
oozie的安装
Fenggms的博客
10-05 355
Oozie的简介 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 Oozie是根据有向无环图(DAGDirect Acyclic Graph)的模式对action的执行时间与执行顺序进行管理调度的。 oozie的架构 oozie的组件介绍 workFlow：工作流，定义我们的工作流的任务的执行，主要由一个个的ac...
Oozie安装及使用
cai_and_luo的博客
07-06 285
Oozie安装及使用部署 Hadoop（CDH 版本的）1.修改 Hadoop 配置重启 Hadoop 集群部署 Oozie在 Mysql 中创建 Oozie 的数据库初始化 OozieOozie 的启动与关闭访问 Oozie 的 Web 页面 部署 Hadoop（CDH 版本的） 1.修改 Hadoop 配置 core-site.xml <!-- Oozie Server 的 Hostname --> <property> <name>hadoop.proxyuser.
oozie安装及使用
weixin_44768806的博客
01-06 415
oozie （会用！） 任务调度框架 当一个项目中出现多个shell、MapReduce、hql、sqoop类型的任务时 并且这些任务之前存在一种依赖关系时，需要借助专业的任务调度框架完成任务流的定义控制 oozie可以实现 多个任务执行的顺序控制 job1->job2->job3/job4->job7 .. 多个任务组成的一个任务流的执行频...
Oozie安装
子清的博客
03-23 557
0.下载（oozie 安装包较大，下载可能需要较长时间） 链接: https://pan.baidu.com/s/1vzKDuPrWSgt7ECaUzE9iXw 提取码: vmtv 复制这段内容后打开百度网盘手机App，操作更方便哦 1.解压 Oozie tar -zxvf oozie-4.1.0-cdh5.14.2.tar.gz 2.在 oozie 根目录下解压 oozie-hadooplibs-4.1.0-cdh5.14.2.tar.gz cd oozie-4.1.0-cdh5.14.2 tar -z
oozie安装
le119126的专栏
09-09 1474
安装 1.缺包去：https://repo.spring.io/simple/hortonworks/org/apache/ $ bin/mkdistro.sh [-DskipTests]Running =mkdistro.sh= will create the binary distribution of Oozie. By default, oozie war will not c
oozie 安装
空中的鱼
07-13 335
废话不多说，直接步骤 安装 准备： oozie-3.3.2,oozie-4.0.0在执行oozie-setup.sh时失败，所以选取3.3.2版本 mysql hadoop-1.0.3 apache-6 mavn3（必须是3或者以上版本） ext-2.2.zip拷贝至oozie-3.3.2目录下 创建 oozie 组和用户 /usr/sbin/groupadd oozie /usr/sbin/u
oozie简介安装及使用
weixin_44067108的博客
02-02 405
Oozie介绍 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache。提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。所谓的功能简单来说就是讲各个功能串起来,一个执行完到下一个,与工厂中的流水线类似。 Oozie的功能模块 分为三个模块 1.Workflow (各个流程的执行内容,将流程写入Workflow) 2.C...
Oozie的安装过程
weixin_34146410的博客
08-24 93
依赖CDH5,JDK和关系数据库 集群规划 主机名 IP Ooize节点 CHD1 XX.XX.XX.XX oozie server,oozie client CHD1 XX.XX.XX.XX oozie server,oozie client CHD1 XX.XX.XX.XX oozie server,oozie c...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值