Eclipse运行WordCount（详细版）

最新推荐文章于 2023-04-17 22:10:31 发布

汉秋_

最新推荐文章于 2023-04-17 22:10:31 发布

阅读量4.8k

点赞数 13

分类专栏： Hadoop Java 文章标签： Eclipse WordCount MapReduce Hadoop HDFS

本文链接：https://blog.csdn.net/weixin_42278880/article/details/102599472

版权

本文详述了如何在Eclipse中运行WordCount程序，包括HDFS相关知识、Hadoop集群连接、HDFS Java API简介，以及从文件下载、项目创建到运行配置的具体步骤。在运行过程中，需要注意配置XML文件、上传数据、设置运行参数，以及解决可能出现的错误问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

不镜于水，而镜于人，则吉凶可鉴也
不蹶于山，而蹶于垤，则细微宜防也

Eclipse运行WordCount

文件下载

WordCount.java 提取码2kwo
log4j.properties 提取码tpz9
data.txt 提取码zefp

具体步骤

注意：Eclipse连接Hadoop集群执行完所有步骤后方可进行接下来的操作

打开Eclipse，依次点击“File”→“New”→“Map/ReduceProject”，点击“Next”
在弹出的窗口填写项目名，选择项目路径，点击“Finish”
在mapreduce项目的src目录中新建cn.neu包，点击“Finish”
将下载的WordCount.java文件拷贝粘贴至cn.neu包中（直接拖拽即可）
使用Xftp等文件传输软件将远程Hadoop集群安装目录下的hadoop/hadoop-2.6.0/etc/hadoop目录下的core-site.xml和hdfs-site.xml传输到本地

上述两个XML文件和下载的log4j.properties文件一起拷贝到src中
注：若不清楚上述XML文件如何配置，推荐参考多台Linux虚拟机Hadoop集群的安装与部署（超详细版）

若不添加两个XML文件，会产生如下错误

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/G:/hadoop-2.6.0/share/hadoop/common/lib/hadoop-auth-2.6.0.jar) to method sun.security.krb5.Config.getInstance(<