大数据——mapreduce在linux系统上的yarn集群中运行

第一步：编辑mapreduce中的java代码（map逻辑和reduce逻辑）
重点是更改提交类中的main方法

/**
 * 如果要在hadoop集群的某台机器上启动这个job提交客户端的话
 * conf里面就不需要指定 fs.defaultFS   mapreduce.framework.name
 * 
 * 因为在集群机器上用 hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2 命令来启动客户端main方法时，
 *   hadoop jar这个命令会将所在机器上的hadoop安装目录中的jar包和配置文件加入到运行时的classpath中
 *   
 *   那么，我们的客户端main方法中的new Configuration()语句就会加载classpath中的配置文件，自然就有了 
 *   fs.defaultFS 和 mapreduce.framework.name 和 yarn.resourcemanager.hostname 这些参数配置
 *   
 * @author ThinkPad
 *
 */
public class JobSubmitterLinuxToYarn {
	
	public static void main(String[] args) throws Exception {
		
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hdp-01:9000");
		conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
		// 没指定默认文件系统
		// 没指定mapreduce-job提交到哪运行

		Job job = Job.getInstance(conf);
		
		
		job.setJarByClass(JobSubmitterLinuxToYarn.class);
		
		
		job.setMapperClass(WordcountMapper.class);
		job.setReducerClass(WordcountReducer.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		FileInputFormat.setInputPaths(job, new Path("/wordcount/input"));
		FileOutputFormat.setOutputPath(job, new Path("/wordcount/output"));
		
		job.setNumReduceTasks(3);
		
		boolean res = job.waitForCompletion(true);
		System.exit(res?0:1);
		
	}
	

}

第二步：将文件打包成jar（不需要打包依赖的jar包）
第三步：将jar包通过HDFS任何一台虚拟机，推送到集群中。
第四步：运行之前需要设置好hadoop的配置文件，指定好
1、namenode地址：core-site.xml

   <!-- 指定hdfs的nameservice为ns1 -->
                        <property>
                                <name>fs.defaultFS</name>
                                <value>hdfs://ns1</value>
                        </property>

2、yarn的resourcemanager地址：

 						<property>
                           <name>yarn.resourcemanager.hostname</name>
                           <value>hdfs03</value>
                        </property>

<configuration>
3、mapreduce运行时，job在哪里运行？地址配置：

<!-- 指定mr框架为yarn方式 -->
                                        <property>
                                                <name>mapreduce.framework.name</name>
                                                <value>yarn</value>
                                        </property>

							

第四步：在HDFS中运行jar包中的方法
hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2