04job客户端逻辑代码

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

用于提交mapreduce job的客户端程序
功能：
1.封装本次job运行时所需要的必要参数
2.跟yarn进行交互，将mapreduce程序成功的启动
真正在yarn上跑的程序是里面的jar包。加粗样式

	public class JobSub {

	public static void main(String[] args) throws Exception {

	Configuration conf = new Configuration();
	
	//1.设置job运行时要访问的默认文件系统
	conf.set("fs.defaultFS", "hdfs://hadoop1:9000");
	
	//2.设置job提交到哪运行(本地 或 yarn)，并指定yarn在哪(即resourcemanager的主机名)
	conf.set("mapreduce.framework.name", "yarn");
	conf.set("yarn.resourcemanager.hostname", "hadoop1");
	
	//3.如果从windows系统上运行这个job提交客户端程序，则需要加这个跨平台提交的参数
	conf.set("mapreduce.app-submission.cross-platform", "true");
	
	//报错： Class org.apache.hadoop.hdfs.DistributedFileSystem not found
	conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
	
	Job job = Job.getInstance(conf);
	
	//1.封装参数：jar包所在的位置
	job.setJar("F:/wc.jar");
//	job.setJarByClass(JobSub.class);
	
	//2.封装参数：本次job所要调用的Mapper实现类，Reducer实现类
	job.setMapperClass(WcMap.class);
	job.setReducerClass(WcReducer.class);
	
	//3.封装参数：被刺job的Mapper实现类，Reducer实现类产生的结果数据key，value类型
	job.setMapOutputKeyClass(Text.class);
	job.setMapOutputValueClass(IntWritable.class);
	job.setOutputKeyClass(Text.class);
	job.setOutputValueClass(IntWritable.class);
	
	//4.封装参数：本次job要处理的输入数据集所在路径、最终结果的输出路径
	FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
	
	Path output = new Path("/wordcount/apioutput");
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9000/"), conf, "root");
	if(fs.exists(output)) {
		fs.delete(output, true);
	}
	FileOutputFormat.setOutputPath(job, output);
	
	
	//5.封装参数：想要启动reduce task的数量
	job.setNumReduceTasks(2);		
	
	//6.向yarn提交本次job
	boolean result = job.waitForCompletion(true);   
		//true表示打印运行的状态
		//返回值表示结果是否成功
	System.out.println(result);
		//如果job正常结束，则程序正常结束，反之亦然
	System.exit(result ? 0 : -1);
	
}
}