Eclipse运行WordCount（详细版）

不镜于水，而镜于人，则吉凶可鉴也
不蹶于山，而蹶于垤，则细微宜防也

相关连接

HDFS相关知识

• Hadoop分布式文件系统（HDFS）快速入门
• Hadoop分布式文件系统（HDFS）知识梳理（超详细）

Hadoop集群连接

• Eclipse连接Hadoop集群
• IntelliJ IDEA连接Hadoop集群

HDFS Java API

Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版

WordCount程序分析

使用Java API编写WordCount程序

Eclipse运行WordCount

文件下载

• WordCount.java 提取码2kwo
• log4j.properties 提取码tpz9
• data.txt 提取码zefp

具体步骤

注意：Eclipse连接Hadoop集群执行完所有步骤后方可进行接下来的操作

1. 打开Eclipse，依次点击“File”→“New”→“Map/ReduceProject”，点击“Next”
   
2. 在弹出的窗口填写项目名，选择项目路径，点击“Finish”
   
3. 在mapreduce项目的src目录中新建cn.neu包，点击“Finish”
   
4. 将下载的WordCount.java文件拷贝粘贴至cn.neu包中（直接拖拽即可）
5. 使用Xftp等文件传输软件将远程Hadoop集群安装目录下的hadoop/hadoop-2.6.0/etc/hadoop目录下的core-site.xml和hdfs-site.xml传输到本地
   
   上述两个XML文件和下载的log4j.properties文件一起拷贝到src中
   注：若不清楚上述XML文件如何配置，推荐参考多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
   
   若不添加两个XML文件，会产生如下错误

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/G:/hadoop-2.6.0/share/hadoop/common/lib/hadoop-auth-2.6.0.jar) to method sun.security.krb5.Conf