Mapreduce测试方法

最新推荐文章于 2022-03-11 20:31:32 发布

asd623444055

最新推荐文章于 2022-03-11 20:31:32 发布

阅读量1k

点赞数

文章标签： mapreduce

本文链接：https://blog.csdn.net/asd623444055/article/details/123402719

版权

本文介绍了MapReduce的测试方法，包括本地测试和集群上测试。本地测试涉及Hadoop环境配置和在IDE中直接运行程序。集群测试则需要通过maven打包成jar，上传到集群，并使用命令执行。此外，还讲述了如何在Windows上向Hadoop集群提交任务，包括配置信息的添加、任务配置编辑和结果查看。

摘要由CSDN通过智能技术生成

1.本地测试

（1）需要首先配置好HadoopHome变量以及Windows运行依赖

（2）在Eclipse/Idea上运行程序

2.集群上测试

（1）用maven打jar包，需要添加的打包插件依赖

（2）将程序打成jar包，然后拷贝到Hadoop集群中

执行命令

           //jar包名                         驱动的全类名          文件输入目录   输出路径            
hadoop jar mapreduce200105-1.0-SNAPSHOT.jar com.wordcount.WcDriver /test.txt    /output1

3.在Windows上