Oozie 调用shell脚本——Oozie4.3.1

@羲凡——只为了更好的活着

Oozie 调用shell脚本——Oozie4.3.1

oozie调用shell脚本准备三个文件 job.properties、mkdir.sh(即你的shell脚本)、workflow.xml。和之前的一篇 Oozie调用spark案例(shell脚本) 博客(https://blog.csdn.net/weixin_42003671/article/details/86647401)基本类似。

1.job.properties

# 当你配置了dfs高可用，fs.defaultFS参数对应的名字，
# 否者写hdfs://deptest1:8020或者hdfs://deptest1:9000
nameNode=hdfs://ns
# 当你配置的是高可用的yarn，yarn.resourcemanager.cluster-id参数对应的名字
# 否者写deptest2:8032
jobTracker=rmcluster
# 任务所用的队列，根据自己公司情况写，这里我选着默认
queueName=default
# examplesRoot这个名字最好不要改，有时会出错，切记！
examplesRoot=testdata/oozie/shell
# oozie能使用hdfs上系统lib目录
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/${examplesRoot}/workflow.xml
EXEC=mkdir.sh
shellpath=${nameNode}/${examplesRoot}/${EXEC}

2.mkdir.sh

shell脚本注意事项：命令必须写全路径。比如 hdfs 命令，即使你每台机器上都配置了环境变量，也要把全路径卸载shell脚本中。

#!/bin/sh
datetime=`date +"%Y%m%d%H%M%S"`
/usr/local/package/hadoop-2.7.3/bin/hdfs dfs -mkdir \
-p /testdata/data/output/shelltest/$datetime

3.workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
	    <exec>${EXEC}</exec>
	    <!--argument>${outputdir}</argument-->
	    <file>${shellpath}</file> 
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

4.提交

-oozie 指定oozie地址 ，-config 指定任务的配置参数

# 将文件上传到hdfs上(job.properties中examplesRoot的路径)
hdfs dfs -put shell/ /testdata/oozie/
# 启动oozie任务
oozie job -oozie http://deptest45:11000/oozie -config job.properties -run

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流