MapReduce几种提交方式

MapReduce几种提交方式

本地模式运行

 1.在Windows里的IDE直接运行main方法，会将job提交给本地执行器localjobrunner执行

　　---本地存放Hadoop安装包

　　---输入输出数据可以放在本地路径下(c:/wc/srcdata/)

　　---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

 

2.在Linux的IDE直接运行main方法，会将job提交给本地执行器localjobrunner执行

　　---输入输出数据可以放在本地路径下(/usr/local/wc/srcdata/)

　　---输入输出数据也可以放在hdfs中(hdfs://CentOS7One:9000/wc/output3)

 

集群模式运行

1.将工程打成jar包，上传到服务器，用Hadoop命令提交，hadoop jar wc.jar

2.在Linux的IDE中运行，需要添加mapred-site.xml和yarn-site.xml

3.在Windows的IDE中运行，本地存放Hadoop安装包，需要将lib和bin目录替换成编译出的文件

posted @ 2019-03-11 09:04 Rest探路者 阅读( ...) 评论( ...) 编辑 收藏