【Hadoop2】windows本地提交任务给集群/远程yarn执行

写在前面

最近在做SpringBoot项目想在项目中调用Hadoop进行分析，然而在windows平台下想提交job给集群进行处理实在是出现了很多匪夷所思的问题，浪费了很多时间。这篇博文就是用来好好记录一下踩过的坑。

Hadoop2进行MR的方法

• 打包MR，上传到集群调用jar包
• 本地MR
• 本地提交Job给远程Yarn，Yarn调度集群进行MR 【本文要介绍的】

步骤

1. 编写好MAPPER、REDUCER、DRIVER等

2. 使用本地环境验证MR程序可正常运行

若本身MR程序会运行出错，那么就算交到集群也会提示Stack trace: ExitCodeException exitCode=1

3. 将配置文件复制到resources文件夹下

主要是hadoop集群的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml，主要要与集群中的配置保持一致，而且若本地没有配置hosts等进行域名解析，最好统一使用ip地址来表示。

这一步的目的是方便Configuration自动导入配置，这样就不用过多的手动使用api进行配置。

4. Driver补充配置

【注意】以下配置需要根据你的集群配置进行修改

Configuration conf = new Configuration();
/*
 * HADOOP_USER_NAME：设置HADOOP集群的用户名
 * 若不指定则会使用windows的管理员名称，此时管理员名称和集群机器上使用的用户名不一致会导致文件权限不足！
 */
System.setProperty("HADOOP_USER_NAME", "root");	

//最好再次手动指定配置，因为有时自动导入会出错
conf.set("fs.defaultFS","hdfs://192.168.0.110:9000");
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.hostname", "192.168.0.111");

//设置跨平台，因为不同操作系统编译方式不一样
conf.set("mapreduce.app-submission.cross-platform", "true");

//设置jar包，必须将程序打成jar包才能提交到yarn
conf.set("mapreduce.job.jar","src/main/resources/com.jar");


//以下是driver的基本套路，自行修改即可
Job job = Job.getInstance(conf);

job.setJarByClass(XXXDriver.class);
job.setMapperClass(XXXXMapper.class);
job.setReducerClass(XXXReducer.class);

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(XXXBean.class);

job.setOutputKeyClass(Text.class);
job.setOutputFormatClass(XXXOutputFormat.class);

FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job,new Path(args[1]));

boolean result = job.waitForCompletion(true);

TIPS：若使用springboot则因为打包格式的特殊，jar包内mr的路径会被更改，导致hadoop找不到类。此时找到springboot的jar包中xxx-0.0.1-SNAPSHOT.jar\BOOT-INF\classes，找到你的包复制出来并压缩成jar即可。

5. 完结撒花

运行，测试是否成功