spark学习：（三）eclipse下Hadoop配置

1 插件的安装与配置

要求与Linux上安装的Hadoop版本一致。

把下载好的Hadoop解压到本地目录。

添加系统环境变量：新建变量名HADOOP_HOME，值为Hadoop的解压路径，如E:\hadoop-2.8.5。在path中添加：%HADOOP_HOME%\bin。

把Windows-Hadoop插件解压得到的所有文件复制到hadoop-2.8.5的bin目录下。再把hadoop.dll复制到C:\Windows\System32目录下。

把hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse目录下的pluguns目录中。重启Eclipse。打开Eclipse->Preferences。可以看到左侧多出了Hadoop Map/Reduce项。点击多出的Hadoop Map/Reduce项，添加Hadoop解压路径。

2 配置MapReduce Locations

在Eclipse中依次点击：Window->Perspective->Open Perspective->Map/Reduce，项目结构中出现DFS Locations结构。

在Eclipse中依次点击：Window->Show View ->Other->MapReduce Tools->Map/Reduce Locations。确定（open），下面的控制台多出了Map/Reduce Locations试图。右键Map/Reduce Locations试图的空白处，选择新建，定义Hadoop集群的链接。Location name任起，Host填写Hadoop的mater的IP地址；port是对应的端口号，Map/Reduce(V2) Master的默认即可，DFS Master的要与集群上core-site.xml文件中的fs.defaultFS参数一致，确保能连到集群，User name任起。

点击Eclipse右上角的小象图标，然后就可以看到Hadoop节点的信息了。此时，在虚拟机中用Shell命令的形式可以对Hadoop进行管理，比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了（如果没有同步请先右键点击refresh刷新一下），也就是说可以同步对Hadoop进行管理和开发。

3 Windows下Hadoop使用

在eclipse中新建项目 ：File->new->other->Map/Reduce Project。src下创建Package，Package下创建*.java文件，以WordCount.java为例。同时在src下创建log4j.properties文件，不然运行程序时候会报错，可先创建txt文本文件，添加内容后修改名字及后缀名，然后复制到项目下。内容如下：

# Configure logging for testing:optionally with log file

#log4j.rootLogger=debug,appender

log4j.rootLogger=info,appender

#log4j.rootLogger=error,appender

#\u8F93\u51FA\u5230\u63A7\u5236\u53F0

log4j.appender.appender=org.apache.log4j.ConsoleAppender

#\u6837\u5F0F\u4E3ATTCCLayout

log4j.appender.appender.layout=org.apache.log4j.TTCCLayout

完成后，右键项目，依次Run as ->Run Configurations...->Java Application。选Java Application后点击左上角的New launch application，配置Main标签参数。填写Name（任起），Search...往下拉，找到WordCount。

配置Argument标签参数（添加文件读取路径和输出路径）：

hdfs://192.168.xxx.xxx:9000/test/input、words.txt

hdfs://192.168.xxx.xxx:9000/test/output

配置完成后点击Apply，Run。

此时可以在Argument指定的路径（即输出路径，hdfs://IP:端口/路径）下查看结果。