Hadoop Eclipse开发环境的建立

1. 安装Hadoop集群成功，下载解压版eclipse

2. 下载hadoop-eclipse-plugin-2.6.0.jar

放在eclipse安装文件夹的插件(plugins)中  

下载链接：https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

3. 重启eclipse，出现如图：多出现了Hadoop Map/Reduce

window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

4. 填写本地hadoop解压的路径，这个hadoop版本是linux的，只需要解压原安装版本tar.gz包 然后拷贝到本地就可以了

5. 下载hadoop-common-2.2.0-bin，将bin下的winutils.exe复制hadoop/bin目录下

6. 配置Map/ReduceLocations

windows → show view → other->Map/Reduce Locations-> 点击“OK”

在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键，选择“New Hadoop location…”，弹出对话框“New hadoop location…”，进行相应配置

注意：MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致

7. 打开Project Explorer,查看HDFS文件系统。

8. 配置环境变量

8.1 添加HADOOP_HOME

8.2 修改JAVA_HOME

原来是C:\Program Files\Java\jdk1.8.0_144，因为路径中有空格，所以必须修改为C:\Progra~1\Java\jdk1.8.0_144

8.3 修改Path

8.4 重启windows 验证

win+R   然后输入hadoop version出现如下图则验证成功

 

9.使用Java API操作HDFS

9.1：使用HadoopURL

package com.kawa.hdfs; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; /**  * 使用Hadoop URL操作HDFS  * @author Administrator  */ public class HadoopURICatFile {      //让java虚拟机能够识别HDFS URL      static {          URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());      }      public static void main(String[] args) {