大数据技术与应用实验报告3

大数据技术与应用实验报告3

用JAVA写一个WordCount例子，并生成jar包运行于集群上

编写MapReduce程序

MapReduce

1.编程调试WordCount程序
2.生成jar包，在虚拟机上运行

首先我在Eclipse中新建java项目，项目建成后，src文件时是空的，接下来右键单击src新建包和类，然后就进入Wordcount程序的代码编写阶段，导入jar包

导入后不再报错，下一步就是生成jar文件。

右键单击包，选择Export–>Java–>JAR file–>next，输入jar文件的文件名和生成路径，连点两次next后，进入如下界面，选择程序主类，然后点击finish结束。

将生成的jar文件上传到namenode节点，然后在此路径下执行如下命令 hadoop jar wordcount_test.jar /input/text.txt /output4。在jar文件后面输入主类名，至此成功完成本地开发MapReduce程序后，生成jar包发送给集群运行的测试过程。