Oozie调用sqoop案例(shell脚本)——Oozie4.3.1

@羲凡——只为了更好的活着

Oozie调用sqoop案例(shell脚本)——Oozie4.3.1

oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。
特别说明
1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop)
2.将${HIVE_HOME}/lib目录下的 hive-exec-1.2.2.jar 和mysql驱动拷贝到 ${SQOOP_HOME}/lib目录下的
3.将sqoop安装包，完整的拷贝到hadoop的其他几台机器的相同路径下

1.job.properties

# 当你配置了dfs高可用，fs.defaultFS参数对应的名字，
# 否者写hdfs://deptest1:8020或者hdfs://deptest1:9000
nameNode=hdfs://ns
# 当你配置的是高可用的yarn，yarn.resourcemanager.cluster-id参数对应的名字
# 否者写deptest2:8032
jobTracker=rmcluster
# 任务所用的队列，根据自己公司情况写，这里我选着默认
queueName=default
# examplesRoot这个名字最好不要改，有时会出错，切记！
examplesRoot=testdata/oozie/sqoop-shell
# oozie能使用hdfs上系统lib目录
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/${examplesRoot}/workflow.xml
EXEC=sqoopshell.sh
shellpath=${nameNode}/${examplesRoot}/${EXEC}

2.sqoopshell.sh

#!/bin/sh
/usr/local/package/sqoop-1.4.7.bin/bin/sqoop import \
--connect jdbc:mysql://deptest69:3306/test_data \
--username root \
--password 1q2w3e4r \
--table mysql_stu_info \
--delete-target-dir \
--hive-import \
--hive-overwrite \
--hive-database test_data \
--hive-table stu_info \
--hive-partition-key ymday \
--hive-partition-value 20190888 \
--fields-terminated-by '\t' \
-m 1

3.workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="sqoopshell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
			<exec>${EXEC}</exec>
			<!--argument>${inputfile}</argument-->
			<!--argument>${outputdir}</argument-->
			<file>${shellpath}</file> 
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

4.提交

-oozie 指定oozie地址 ，-config 指定任务的配置参数

# 将文件上传到hdfs上(job.properties中examplesRoot的路径)
hdfs dfs -put sqoop-shell/ /testdata/oozie
# 启动oozie任务
oozie job -oozie http://deptest25:11000/oozie -config job.properties -run

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流