从Java代码远程提交YARN MapReduce任务

原文

在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。

其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml，所以在Job的Configuration里面需要添加一些设置，然后再提交就可以了。

贴上一个示例代码，大家一看就明白了：

[java] view plain copy

 

1. public class RemoteMapReduceService {  
2.     public static String startJob() throws Exception {  
3.         Job job = Job.getInstance();  
4.         job.setJobName("xxxx");  
5.         /*************************** 
6.          *...... 
7.          *在这里，和普通的MapReduce一样，设置各种需要的东西 
8.          *...... 
9.          ***************************/  
10.                   
11.         //下面为了远程提交添加设置：  
12.         Configuration conf = job.getConfiguration();  
13.         conf.set("mapreduce.framework.name", "yarn");  
14.         conf.set("hbase.zookeeper.quorum", "MASTER:2181");  
15.         conf.set("fs.default.name", "hdfs://MASTER:8020");  
16.         conf.set("yarn.resourcemanager.resource-tracker.address", "MASTER:8031");  
17.         conf.set("yarn.resourcemanager.address", "MASTER:8032");  
18.         conf.set("yarn.resourcemanager.scheduler.address", "MASTER:8030");  
19.         conf.set("yarn.resourcemanager.admin.address", "MASTER:8033");  
20.         conf.set("yarn.application.classpath", "$HADOOP_CONF_DIR,"  
21.             +"$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,"  
22.             +"$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,"  
23.             +"$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,"  
24.             +"$YARN_HOME/*,$YARN_HOME/lib/*,"  
25.             +"$HBASE_HOME/*,$HBASE_HOME/lib/*,$HBASE_HOME/conf/*");  
26.         conf.set("mapreduce.jobhistory.address", "MASTER:10020");  
27.         conf.set("mapreduce.jobhistory.webapp.address", "MASTER:19888");  
28.         conf.set("mapred.child.java.opts", "-Xmx1024m");  
29.           
30.         job.submit();  
31.         //提交以后，可以拿到JobID。根据这个JobID可以打开网页查看执行进度。  
32.         return job.getJobID().toString();  
33.     }  
34. }