MR程序的几种提交运行模式

本地模式运行

1-在windows的eclipse里面直接运行main方法

将会将job提交给本地执行器localjobrunner

• 输入输出数据可以放在本地路径下
• 输入输出数据放在HDFS中：(hdfs://xxx:9000/wc/srcdata）,如果将hdfs的配置文件放在类路径下面，那么不用写hdfs://

2-在linux的eclipse里面直接运行main方法，但是不要提那家yarn相关的配置，也会提交给localjobrunner执行

输入输出数据可以放在本地路径下（/home/hadoop/wc/srcdata）

输入输出数据也可以放在hdfs中（hdfs://XXXXX:9000/wc/srcdata）

 

集群模式运行

1-将工程达成jar包上传到服务器，然后用hadoop命令提交，hadoop jar wc.jar  xx.xx.xx.xx.XXRunner

2-在linux的eclipse中直接运行main方法，也可以提交到集群中去运行，但是，必须采取下面的措施：

---在工程的src目录中加入mapred-site.xml

---将工程达成jar包（wc.jar），同同时在main方法中添加一个conf的配置参数，conf.set("mapreduce.job.jar"，“XX.jar”)

3-在windows的eclipse中直接yunxingmain方法，也乐意提交给集群中运行，但是因为平台不兼容，需要做很多额外的设置

---要在windows中存放一份hadoop的安札UN该包（解压好的）

---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件，因为这两个目录中的文件都是和本地相关的；

---配置系统环境变量HADOOP_HOME和PATH

---修改YarnRunner这个类的源码=

 

转载于:https://www.cnblogs.com/maxigang/p/9777025.html