1、创建“workflow.xml”
<map-reduce>
<job-tracker>${resourceManager}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<!-- 指定队列方式-->
<property>
<name>mapreduce.job.queuename</name>
<value>${queueName}</value>
</property>
<!--是否使用新的api-->
<property>
<name>mapred.mapper.new-api</name>
<value>true</value>
</property>
<property>
<name>mapred.reducer.new-api</name>
<value>true</value>
</property>
<!--Class -->
<property>
<name>mapreduce.job.map.class</name>
<value>mapper.Map </value>
</property>
<property>
<name>mapreduce.job.reduce.class</name>
<value>reducer.Reduce</value>
</property>
<!--指定 Map和Reduce的输出类型-->
<property>
<name>mapreduce.map.output.key.class</name>
<value>org.apache.hadoop.io.IntWritable</value>
</property>
.....
<!--因为我需要将结果输出到Hbase,而不是输出到hdfs,以下是对Hbase的配置-->
<property>
<name>hbase.mapred.outputtable</name>
<value>${hbaseTableName}</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>${hbaseTableDir}</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>${hbase_zookeeper_quorum}</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>${hbase_zookeeper_property_clientPort}</value>
</property>
<property>
<name>mapreduce.job.name </name>
<value>Import to ${hbaseTableName}</value>
</property>
<!--只需要输入路径,不需要输出路径-->
<property>
<name>mapreduce.input.fileinputformat.inputdir</name>
<value>${input}</value>
</property>
<!--需要指定输出格式-->
<property>
<name>mapreduce.job.outputformat.class</name>
<value>org.apache.hadoop.hbase.mapreduce.TableOutputFormat</value>
</property>
<property>
<name>mapreduce.job.reduces</name>
<value>${reducer}</value>
</property>
<property>
<name>mapreduce.job.maps</name>
<value>${map}</value>
</property>
<!--配置mapreduce使用的资源,一般大公司不会使用默认设置的-->
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>1</value>
</property>
......
</configuration>
</map-reduce>
注:不同的集群<configuration>...</configuration>直接的配置可能不同,而且需要配置的内容也不一样
格式都是固定的,其中的name和value是去集群结果找的,也就是先执行一篇成功的例子,然后再去找对应的name来设置value
2、上传到hdfs
将“workflow.xml”和“程序jar包所在的lib文件夹”放到同一个hdfs目录下
3、创建“job.properties”
4、本地执行oozie任务
结束进程
oozie job -oozie http://localhost:11000/oozie -kill Job_ID
执行进程
oozie job -oozie http://localhost:11000/oozie -config job.properties -run
查看日志
oozie job -oozie http://localhost:11000/oozie -log Job_ID
Job_ID要在oozie执行之后才会出现