利用oozie来运行Hadoop的MapReduce程序

1、创建“workflow.xml”

<map-reduce>
            <job-tracker>${resourceManager}</job-tracker>
            <name-node>${nameNode}</name-node>
			
            <configuration> 
                <！-- 指定队列方式-->
                <property>
                    <name>mapreduce.job.queuename</name>
                    <value>${queueName}</value>
                </property>
<!--是否使用新的api-->
                 <property>
		    <name>mapred.mapper.new-api</name>
		    <value>true</value>
		</property>
		<property>
			<name>mapred.reducer.new-api</name>
			<value>true</value>
		</property>
		<!--Class -->
		<property>
		    <name>mapreduce.job.map.class</name>
                    <value>mapper.Map </value>
                </property>
                <property>
                    <name>mapreduce.job.reduce.class</name>
                    <value>reducer.Reduce</value>
                </property>
				
				<!--指定 Map和Reduce的输出类型-->
				<property>
					<name>mapreduce.map.output.key.class</name>
					<value>org.apache.hadoop.io.IntWritable</value>
				</property>
				.....
<!--因为我需要将结果输出到Hbase，而不是输出到hdfs，以下是对Hbase的配置-->
                 <property>
		    <name>hbase.mapred.outputtable</name>
		    <value>${hbaseTableName}</value>
		</property>
                <property>
		    <name>hbase.rootdir</name>
                    <value>${hbaseTableDir}</value>
                </property>
		<property>
		    <name>hbase.zookeeper.quorum</name>
                    <value>${hbase_zookeeper_quorum}</value>
                </property>
		<property>
		    <name>hbase.zookeeper.property.clientPort</name>
                    <value>${hbase_zookeeper_property_clientPort}</value>
                </property>
		<property>
		    <name>mapreduce.job.name </name>
                    <value>Import to ${hbaseTableName}</value>
                </property> 
<!--只需要输入路径，不需要输出路径-->
		<property>
		    <name>mapreduce.input.fileinputformat.inputdir</name>
                    <value>${input}</value>
                </property>
<!--需要指定输出格式-->
                 <property>
                        <name>mapreduce.job.outputformat.class</name>
                        <value>org.apache.hadoop.hbase.mapreduce.TableOutputFormat</value>
                </property>	
		<property>
		    <name>mapreduce.job.reduces</name>
		    <value>${reducer}</value>
	        </property>
		<property>
                    <name>mapreduce.job.maps</name>
                    <value>${map}</value>
                </property>
			<!--配置mapreduce使用的资源，一般大公司不会使用默认设置的-->	
		<property>
                    <name>mapreduce.map.cpu.vcores</name>
                    <value>1</value>
                </property>
			......
               
            </configuration>
        </map-reduce>

注：不同的集群<configuration>...</configuration>直接的配置可能不同，而且需要配置的内容也不一样

格式都是固定的，其中的name和value是去集群结果找的，也就是先执行一篇成功的例子，然后再去找对应的name来设置value

2、上传到hdfs

将“workflow.xml”和“程序jar包所在的lib文件夹”放到同一个hdfs目录下

3、创建“job.properties”

4、本地执行oozie任务

结束进程
oozie job -oozie http://localhost:11000/oozie -kill Job_ID
执行进程
oozie job -oozie http://localhost:11000/oozie -config job.properties -run
查看日志
oozie job -oozie http://localhost:11000/oozie -log Job_ID

Job_ID要在oozie执行之后才会出现