eclipse提交hadoop集群跑程序

 

在eclipse下搭建hadoop后，测试wordcount程序，右击 Run on hadoop

程序跑成功后，发现“INFO - Job job_local401325246_0001 completed successfully”，程序总是在本地跑，在http://master:8088 控制台也查看不到任务。

解决办法如下：

1，将usr/local/hadoop/etc/hadoop目录下的四个配置文件拷贝到项目的src目录下

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

2, 将运行的程序打包成jar包，放在该项目目录下

3. 在程序中后面添加一行代码

Configuration conf = new Configuration();
conf.set("mapreduce.job.jar","wordcount.jar");

注：wordcount是jar包的名字

之后运行程序即可。

 

 

参考：

http://www.cxyclub.cn/n/48423/

http://www.cnblogs.com/riordon/p/4712776.html

 

转载于:https://www.cnblogs.com/qinwangchen/p/5292450.html