windows10下 eclipse连接虚拟机中的Hadoop伪分布式集群

在windows用eclipse连接hadoop之后，可以便于进行mapreduce开发，非常方便，如果在虚拟机里面用eclipse的话  ，emmmmmm，你会卡到怀疑人生。

 

 

首先需要去下载eclipse，这个直接官网就ok  link:https://www.eclipse.org/downloads/

还需要下载eclipse连接hadoop的插件 

hadoop-eclipse-kepler-plugin-2.x

去下载符合你hadoop版本的插件

然后放入eclipse安装目录下的plugins目录下

然后下载hadoop（必须跟你的虚拟机中的hadoop版本相同）

解压到win系统中

之后再去设置windows的hadoop环境变量

需要设置HADOOP_HOME 和在Path中加入%HADOOP_HOME%\bin

（java环境不用说，肯定是必备的）

 

这个时候你去打开eclipse就可以设置hadoop路径了

打开window-->Perferences

之后就能在perferences看到hadoop mapreduce选项了

 

开发环境设置

之后File--->New Project-->Map/recude project

 

能开发最关键的还是要导入需要的包

1. hadoop-2.7.1/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）
2. hadoop-2.7.1/share/hadoop/hdfs/下的hadoop-hdfs-2.7.1.jar
3. hadoop-2.7.1/share/hadoop/yarn下的所有jar包（子文件夹下的jar包不用）
4. hadoop-2.7.1/share/hadoop/common下的hadoop-common-2.7.1.jar
5. hadoop-2.7.1/share/hadoop/common/lib下的slf4j-api-1.7.10.jar,slf4j-log4j12-1.7.10.jar
6. hadoop-2.7.1/share/hadoop/tools下的所有jar包
7. 这些全部都要导入

 

 

 

然后还要下载压缩文件hadoop-common-2.x-bin解压后将winutils.exe文件加入到目录hadoop-2.6.0/bin下，将hadoop.dll文件加入到Windows下目录C:\Windows\System32，重启计算机后生效。hadoop-common-2.2.0-bin该文件对应的是64位版的Hadoop，若Hadoop是32位版的，请自行下载相应的32位版的文件。

hadoop主要基于linux编写，这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候，需要这个辅助程序才能运行

 

然后就是连接hadoop

window->Perspective->Map/Reduce

location name随便填 

Map/Reduce Master Host填你的namenode ip地址 端口号在mapred.site.xml中有设置，如果没设置，就是默认50020

DFS Master 端口也要在core-site.xml里面看

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
 

然后就ok