Oozie调度使用案例
- 环境准备
CDH5.15.0,hue3.9.0+cdh5.15.0,oozie4.1.0+cdh5.15.0
2.使用案例
(1)在oozie-4.1.0-cdh5.15.0.tar.gz的解压目录中存在一个oozie-examples.tar.gz的tar包
[root@sdw1 software]# tar -xzvf oozie-4.1.0-cdh5.15.0.tar.gz -C /opt/modules/ |
(2)解压oozie-examples.tar.gz,生成一个example的文件夹
[root@sdw1 oozie-4.1.0-cdh5.15.0]# tar -xzvf oozie-examples.tar.gz |
(3)将example的文件夹上传到当前用户在HDFS上的HOME目录(本文是以root用户操作的,对应的HDFS的HOME目录为/user/root)
[root@sdw1 oozie-4.1.0-cdh5.15.0]# hdfs dfs -put examples examples |
(4)修改本地/opt/modules/oozie-4.1.0-cdh5.15.0/examples/apps/map-reduce/job.properties 文件,只需修改nameNode和jobTracker两个参数,根据自己集群配置的主机名和端口号进行修改
nameNode=hdfs://dw-greenplum-2:8020 jobTracker= dw-greenplum-2:8032 queueName=default examplesRoot=examples oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml outputDir=map-reduce |
注意:job.properties 文件必须在本地
(5)运行example
[root@sdw1 oozie-4.1.0-cdh5.15.0]# oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run ##会生成一个jobID job: 0000003-181018114722548-oozie-oozi-W |
(6)检查workflow作业的状态
[root@sdw1 oozie-4.1.0-cdh5.15.0]# oozie job -oozie http://localhost:11000/oozie -info 0000003-181018114722548-oozie-oozi-W |
(7)通过oozie的web界面浏览job信息
http://dw-greenplum-2:11000/oozie/ |