Oozie的使用

最新推荐文章于 2024-05-15 09:29:31 发布
最新推荐文章于 2024-05-15 09:29:31 发布
阅读量272 收藏 1
点赞数
分类专栏： Oozie 文章标签： Oozie的使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Faded1573606285/article/details/102531772
版权

1、案例一：Oozie调度shell脚本

目标：使用Oozie调度Shell脚本

分步实现：

1) 解压官方案例模板

$ tar -zxf oozie-examples.tar.gz

 

2) 创建工作目录

$ mkdir oozie-apps/

 

3) 拷贝任务模板到oozie-apps/目录

$ cp -r examples/apps/shell/ oozie-apps/

 

4) 随意编写一个脚本p1.sh

$ vi oozie-apps/shell/p1.sh

内容如下：

#!/bin/bash

/sbin/ifconfig > /tmp/p1.log

尖叫提示：使用vi编辑器编辑脚本

5) 修改job.properties和workflow.xml文件

job.properties

#HDFS地址

nameNode=hdfs://linux01:8020

#ResourceManager地址

jobTracker=linux02:8032

#队列名称

queueName=default

examplesRoot=oozie-apps

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell

EXEC=p1.sh

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">

<start to="shell-node"/>

<action name="shell-node">

    <shell xmlns="uri:oozie:shell-action:0.2">

        <job-tracker>${jobTracker}</job-tracker>

        <name-node>${nameNode}</name-node>

        <configuration>

            <property>

                <name>mapred.job.queue.name</name>

                <value>${queueName}</value>

            </property>

        </configuration>

        <exec>${EXEC}</exec>

        <!-- <argument>my_output=Hello Oozie</argument> -->

        <file>/user/admin/oozie-apps/shell/${EXEC}#${EXEC}</file>

 

        <capture-output/>

    </shell>

    <ok to="end"/>

    <error to="fail"/>

</action>

<decision name="check-output">

    <switch>

        <case to="end">

            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}

        </case>

        <default to="fail-output"/>

    </switch>

</decision>

<kill name="fail">

    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

</kill>

<kill name="fail-output">

    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>

</kill>

<end name="end"/>

</workflow-app>

 

6) 上传任务配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/ /user/admin

 

7) 执行任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/shell/job.properties -run

 

8) 杀死某个任务

$ bin/oozie job -oozie http://linux01:11000/oozie -kill 0000004-170425105153692-oozie-z-W

2、案例二：Oozie逻辑调度执行多个Job

目标：使用Oozie执行多个Job调度

分步执行：

1) 解压官方案例模板

$ tar -zxf oozie-examples.tar.gz

 

2) 编写脚本

$ vi oozie-apps/shell/p2.sh

内容如下：

#!/bin/bash

/bin/date > /tmp/p2.log

 

3) 修改job.properties和workflow.xml文件

job.properties

nameNode=hdfs://linux01:8020

jobTracker=linux02:8032

queueName=default

examplesRoot=oozie-apps

 

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell

EXEC1=p1.sh

EXEC2=p2.sh

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">

    <start to="p1-shell-node"/>

    <action name="p1-shell-node">

        <shell xmlns="uri:oozie:shell-action:0.2">

            <job-tracker>${jobTracker}</job-tracker>

            <name-node>${nameNode}</name-node>

            <configuration>

                <property>

                    <name>mapred.job.queue.name</name>

                    <value>${queueName}</value>

                </property>

            </configuration>

            <exec>${EXEC1}</exec>

            <file>/user/admin/oozie-apps/shell/${EXEC1}#${EXEC1}</file>

            <!-- <argument>my_output=Hello Oozie</argument>-->

            <capture-output/>

        </shell>

        <ok to="p2-shell-node"/>

        <error to="fail"/>

    </action>

 

    <action name="p2-shell-node">

        <shell xmlns="uri:oozie:shell-action:0.2">

            <job-tracker>${jobTracker}</job-tracker>

            <name-node>${nameNode}</name-node>

            <configuration>

                <property>

                    <name>mapred.job.queue.name</name>

                    <value>${queueName}</value>

                </property>

            </configuration>

            <exec>${EXEC2}</exec>

            <file>/user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}</file>

            <!-- <argument>my_output=Hello Oozie</argument>-->

            <capture-output/>

        </shell>

        <ok to="end"/>

        <error to="fail"/>

    </action>

    <decision name="check-output">

        <switch>

            <case to="end">

                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}

            </case>

            <default to="fail-output"/>

        </switch>

    </decision>

    <kill name="fail">

        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

    </kill>

    <kill name="fail-output">

        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>

    </kill>

    <end name="end"/>

</workflow-app>

 

4) 上传任务配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -rmr /user/admin/oozie-apps/ 

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/ /user/admin

 

5) 执行任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/shell/job.properties -run

3、案例三：Oozie调度MapReduce任务

目标：使用Oozie调度MapReduce任务

分步执行：

1) 找到一个可以运行的mapreduce任务的jar包（可以用官方的，也可以是自己写的）

2) 拷贝官方模板到oozie-apps

$ cp -r examples/apps/map-reduce/ oozie-apps/

3) 测试一下wordcount在yarn中的运行

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output/

4) 配置map-reduce任务的job.properties以及workflow.xml

job.properties

nameNode=hdfs://linux01:8020

jobTracker=linux02:8032

queueName=default

examplesRoot=oozie-apps

#hdfs://linux01:8020/user/admin/oozie-apps/map-reduce/workflow.xml

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/map-reduce/workflow.xml

outputDir=map-reduce

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf">

    <start to="mr-node"/>

    <action name="mr-node">

        <map-reduce>

            <job-tracker>${jobTracker}</job-tracker>

            <name-node>${nameNode}</name-node>

            <prepare>

                <delete path="${nameNode}/output/"/>

            </prepare>

            <configuration>

                <property>

                    <name>mapred.job.queue.name</name>

                    <value>${queueName}</value>

                </property>

                <!-- 配置调度MR任务时，使用新的API -->

                <property>

                    <name>mapred.mapper.new-api</name>

                    <value>true</value>

                </property>

 

                <property>

                    <name>mapred.reducer.new-api</name>

                    <value>true</value>

                </property>

 

                <!-- 指定Job Key输出类型 -->

                <property>

                    <name>mapreduce.job.output.key.class</name>

                    <value>org.apache.hadoop.io.Text</value>

                </property>

 

                <!-- 指定Job Value输出类型 -->

                <property>

                    <name>mapreduce.job.output.value.class</name>

                    <value>org.apache.hadoop.io.IntWritable</value>

                </property>

 

                <!-- 指定输入路径 -->

                <property>

                    <name>mapred.input.dir</name>

                    <value>/input/</value>

                </property>

 

                <!-- 指定输出路径 -->

                <property>

                    <name>mapred.output.dir</name>

                    <value>/output/</value>

                </property>

 

                <!-- 指定Map类 -->

                <property>

                    <name>mapreduce.job.map.class</name>

                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>

                </property>

 

                <!-- 指定Reduce类 -->

                <property>

                    <name>mapreduce.job.reduce.class</name>

                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>

                </property>

 

                <property>

                    <name>mapred.map.tasks</name>

                    <value>1</value>

                </property>

            </configuration>

        </map-reduce>

        <ok to="end"/>

        <error to="fail"/>

    </action>

    <kill name="fail">

        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

    </kill>

    <end name="end"/>

</workflow-app>

5) 拷贝待执行的jar包到map-reduce的lib目录下

$ cp -a ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar oozie-apps/map-reduce/lib

 

6) 上传配置好的app文件夹到HDFS

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/map-reduce/ /user/admin/oozie-apps

 

7) 执行任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/map-reduce/job.properties -run

4、案例四：Oozie定时任务/循环任务

目标：Coordinator周期性调度任务

分步实现：

1) 配置Linux时区以及时间服务器

检查系统当前时区：

# date -R

 

注意这里，如果显示的时区不是+0800，你可以删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：

# rm -rf /etc/localtime

# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间：

# ntpdate pool.ntp.org

修改NTP配置文件：

# vi /etc/ntp.conf

去掉下面这行前面的# ,并把网段修改成自己的网段：

restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap

注释掉以下几行：

#server 0.centos.pool.ntp.org

#server 1.centos.pool.ntp.org

#server 2.centos.pool.ntp.org

把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加

server  127.127.1.0    # local clock

fudge  127.127.1.0 stratum 10

重启NTP服务：

# systemctl start ntpd.service，

注意，如果是centOS7以下的版本，使用命令：service ntpd start

# systemctl enable ntpd.service，

注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on

集群其他节点去同步这台时间服务器时间：

首先需要关闭这两台计算机的ntp服务

# systemctl stop ntpd.service，

centOS7以下，则：service ntpd stop

# systemctl disable ntpd.service，

centOS7以下，则：chkconfig ntpd off

# systemctl status ntpd，查看ntp服务状态

# pgrep ntpd，查看ntp服务进程id

同步第一台服务器linux01的时间：

# ntpdate linux01

使用root用户制定计划任务,周期性同步时间：

# crontab -e

*/10 * * * * /usr/sbin/ntpdate linux01

重启定时任务：

# systemctl restart crond.service，

centOS7以下使用：service crond restart，

其他台机器的配置同理。

2) 配置oozie-site.xml文件

属性：oozie.processing.timezone

属性值：GMT+0800

解释：修改时区为东八区区时

尖叫提示：该属性去oozie-default.xml中找到即可

3) 修改js框架中的关于时间设置的代码

$ vi ~/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js

修改如下：

function getTimeZone() {

    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());

    return Ext.state.Manager.get("TimezoneId","GMT+0800");

}

 

4) 重启oozie服务，并重启浏览器（一定要注意清除缓存）

$ bin/oozied.sh stop

$ bin/oozied.sh start

 

5) 拷贝官方模板配置定时任务

$ cp -r examples/apps/cron/ oozie-apps/

 

6) 修改模板job.properties和coordinator.xml以及workflow.xml

job.properties

nameNode=hdfs://linux01:8020

jobTracker=linux02:8032

queueName=default

examplesRoot=oozie-apps

 

oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron

#start：必须设置为未来时间，否则任务失败

start=2017-07-29T17:00+0800

end=2017-07-30T17:00+0800

workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron

 

EXEC1=p1.sh

EXEC2=p2.sh

 

coordinator.xml

<coordinator-app name="cron-coord" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">

<action>

       <workflow>

           <app-path>${workflowAppUri}</app-path>

           <configuration>

               <property>

                   <name>jobTracker</name>

                   <value>${jobTracker}</value>

               </property>

               <property>

                   <name>nameNode</name>

                   <value>${nameNode}</value>

               </property>

               <property>

                   <name>queueName</name>

                   <value>${queueName}</value>

               </property>

           </configuration>

       </workflow>

</action>

</coordinator-app>

 

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">

<start to="p3-shell-node"/>

  <action name="p3-shell-node">

      <shell xmlns="uri:oozie:shell-action:0.2">

          <job-tracker>${jobTracker}</job-tracker>

          <name-node>${nameNode}</name-node>

          <configuration>

              <property>

                  <name>mapred.job.queue.name</name>

                  <value>${queueName}</value>

              </property>

          </configuration>

          <exec>${EXEC3}</exec>

          <file>/user/admin/oozie-apps/cron/${EXEC3}#${EXEC3}</file>

          <!-- <argument>my_output=Hello Oozie</argument>-->

          <capture-output/>

      </shell>

      <ok to="end"/>

      <error to="fail"/>

  </action>

<kill name="fail">

    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

</kill>

<kill name="fail-output">

    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>

</kill>

<end name="end"/>

</workflow-app>

 

7) 上传配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps

 

8) 启动任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/cron/job.properties -run

尖叫提示：oozie允许的最小执行任务的频率是5分钟

不稳定记忆
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oozie 最全使用---2020
weixin_43548518的博客
03-13 312
aa
oozie教程
oracle8090的博客
01-18 8496
文章转载自 http://blog.csdn.net/nsrainbow/article/details/43746111  Oozie的3个概念 Oozie有3个主要概念 workflow  工作流coordinator 多个workflow可以组成一个coordinator，可以把前几个workflow的输出作为后一个workflow的输入，也可以定义workflow的触发条件，
oozie5.0编译
最新发布
IT深耕十余载，大道之简
05-15 260
如果你想要编译 Oozie 5.0 版本，你需要确保你的开发环境已经准备好，并且安装了所有必要的依赖项。请注意，以上步骤是一个通用的指导，并且可能会根据你的具体环境和需求有所不同。如果你遇到任何问题，建议查阅 Oozie 的官方文档或者相关的社区和论坛来获取帮助。你可以从 Apache 的官方仓库或者 GitHub 上的镜像仓库中获取。将构建好的分发包解压到你想要运行的 Hadoop 集群上，并按照 Oozie 的官方文档进行配置和部署。注意：确保你检查出的分支或标签是 Oozie 5.0 的。
Oozie 安装 （编译）
zerokissingthefire的博客
04-11 2506
根据官网要求需要的环境如下 安装maven 下载链接Maven – Download Apache Maven 上传至服务器解压 修改环境变量 source 配置文件生效 source /etc/profile 测试是否安装成功 mvn -version 为了编译速度更快可以将maven源改成阿里源 修改方法就是将 安装msyql 这里就不多赘述自行安装 下载oozie 上传服务器解压 tar -xzvf oozie-4.3.1.tar...
CentOS7下oozie调度任务案例
四国棋客
05-07 637
背景 以官方例子为例，记录下如何使用oozie调度任务，首先进入oozie的解压根目录 调度普通任务 1、解压oozie根目录里的oozie-examples.tar.gz # tar -zxvf oozie-examples.tar.gz 2、在oozie根目录新建目录，将解压得到的examples里的app/shell目录复制其中 # mkdir oozie-apps # cp...
oozie使用整理
09-21
此文档主要对oozie的使用方法，基本内容做了一次介绍。
oozie工具使用
10-30
oozie工具使用
oozie介绍及使用详解
02-10
3. **上传和验证工作流**：将工作流XML文件和相关的作业资源（如Hive脚本、MapReduce JAR文件）上传到HDFS，并使用Oozie客户端工具进行验证。 4. **提交和启动工作流**：通过Oozie客户端提交工作流，并启动作业。 5....
oozie oozie
08-21
同时，熟悉SQL语言和你所使用的数据库管理系统也是必不可少的技能，因为Oozie的元数据存储通常需要数据库支持。记得定期备份数据库，以防止数据丢失，并保持Oozie的版本与Hadoop和其他相关组件的版本兼容，以避免...
oozie的安装和使用
08-01
包括安装，配置，使用，shell action ，hive action，MapReduce action，sqoop action。
[理解总结+实战]oozie的使用
MyNameIsWangYi的博客
09-02 770
oozie实践背景：1.知识点：1.1.简介1.2.特点1.3.架构1.4.Oozie的部署与搭建1.5.客户端常用命令1.6.关于配置文件中的*参数*1.6.1.job.properties1.6.2.workflow.xml2.实战中的总结2.1.hue界面中bundle、schedule、workflow的关系2.2.关于时区2.2.1.Oozie定时任务/循环任务2.3.Flink整合Oozie Shell Action 提交任务带Kerberos认证2.4.修改oozie的配置更改时区 背景： 最
Oozie使用详解
weixin_43646427的博客
09-04 373
一、oozie4.3.0调用shell 编写workflow.xml <!--Workflow-DEF-NAME--> <workflow-app xmlns='uri:oozie:workflow:0.3' name='shell-wf'> <!--shell1: node-name --> <start to='shell1' /> <action name='shell1'> <shell xmln
Oozie:手把手教你如何使用Oozie
09-23 620
絮叨两句: 博主是一名数据分析实习生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们 人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战 少年易老学难成，一寸光阴不可轻。 最喜欢的一句话:今日事,今日毕                     &nbs.
Oozie编译
想到哪写到哪
04-30 340
Oozie编译 参考oozie编译 所需要的软件包及已安装软件 jdk 1.8 hadoop 2.7.5 mysql 5.7 apache-maven-3.6.3-bin.tar.gz ext-2.2.zip oozie-4.1.0.tar.gz doxia-core-1.0-alpha-9.2y.jar doxia-module-twiki-1.0-alpha-9.2y.jar penta...
Oozie
菜鸟清风http://www.hphblog.cn/
01-10 6139
Oozie的安装和任务调度： 简介Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 功能Oozie是一...
大数据测试：功能和性能
weixin_30797027的博客
09-05 1465
什么是大数据？ 大数据是不能使用传统计算技术处理的大型数据集的集合。这些数据集的测试涉及各种工具，技术和框架来处理。大数据涉及数据创建，存储，检索和分析，在数量，多样性和速度方面都非常出色。您可以在这里了解有关大数据，Hadoop和Mapreduce的更多信息 在本教程中，我们将学习， 大数据测试策略 验证大数据应用程序的测试步骤 架构测试 性能测试 测试环境需求 大数...
Oozie安装和部署（详细）
hua_ge_zui_liang的博客
07-06 3239
本文目录1、解压及改名2、修改配置3、启动相应的服务4、启动运行5、网页查看 1、解压及改名 [root@cjh1 install]# tar -zxf oozie-4.1.0-cdh5.14.2.tar.gz -C ../bigdata/ [root@cjh1 bigdata]# mv oozie-4.1.0-cdh5.14.2/ oozie410 2、修改配置 # 配置环境变量 [root@cjh1 bigdata]# vi /etc/profile export OOZIE_HOME=/opt/b
python使用oozie
06-13
使用Python编写的Hadoop作业可以通过Oozie来启动和调度。 下面是使用Python编写的Oozie工作流的基本步骤： 1. 编写Python脚本：首先需要编写Python脚本来实现Hadoop作业的逻辑。 2. 上传脚本到HDFS：将Python脚本...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值