本测试用的代码样例
- WordCount源码在我的另一个博客链接如下:
https://blog.csdn.net/Kruskual/article/details/108487446
打包前的准备工作
-
上传文件到集群
红框内为上传按钮 -
查看集群的文件目录
我们要修改源码中的输入输出路径,改为集群上的路径
输入路径存放你要计数的文件,输出路径为不存在路径。
打开集群,登录hdfs网页即在浏览器输入hadoop32:9870(这是我的,不懂的去看我的hadoop急速入门博客)
打开集群,登录hdfs网页红色框内为查看目录信息,绿色框内为当前目录,我把word.txt放在了input里,在这就不展示了。 -
修改路径
如图所示: -
关联自己的driver
代码如下
//关联Jar
job.setJarByClass(WordCountDriver.class);
集群模式下运行方式一:提交jar包
- 用maven打jar包
将打包好的jar包上传到hadoop32
输入代码
hadoop jar MRTest-1.0-SNAPSHOT.jar com.yuaf.wordcount.WordCountDriver /user/yuaf/input /user/yuaf/output
看到
在web端口看到出现output文件夹且有文件。
我们打开查看一下
此时看到和单机模式下结果一样。
方式二:在集群上直接提交
先留着,过几天再跟,这周无休难受!