eclipse 本地连接hadoop 进行开发

2019独角兽企业重金招聘Python工程师标准>>>

们平时用的机器一般装的都是windows系统，如果能在windows系统下面直接调试hadoop程序，那将是极好的

1. eclipse 安装hadoop 插件

首先， 下载hadoop 的eclipse插件  一个jar包

下载链接是这里：http://pan.baidu.com/s/1gfFbOFD

下完之后将插件解压 放到eclipse安装目录下的plugins下面 然后重启eclipse 就会看到

这样的图标

打开eclipse preferences 会有 Hadoop Map/Reduce 这个选项

 

2. 添加dll 到windows

下载hadoopUtil 地址：http://pan.baidu.com/s/1gfFbOFD

让后将utils中的dll文件放到 系统下面 windows文件夹下面的system32下

将文件夹中的winutils.exe 放到hadoop目录的bin下面

3. 配置hadoop本地环境变量

本文的前提是你有一个可以跑起来的hadoop环境，不管是虚拟机还是在服务器上面。

我们需要将linux上面hadoop目录复制一份到windows上，然后再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory

选择你本地hadoop的目录

然后配置windows 环境变量 Hadoop_Home

在系统环境变量中添加HADOOP_HOME这个变量：

然后在path中添加 hadoop：

 

配置hdfs location ：

右键edit 如下 这是我的环境：

如果eclipse能读出 你hdfs上面的文件来，说明你的配置已经生效了如图：

4. 测试 wordcount

最后在eclipse中 建立hadoop项目 new 选择 Map/Reduce Project

你会惊奇的发现，eclipse已经将hadoop所需要的jar都导入到了eclipse当中。我们测试直接将wordcount 这个实例程序copy到项目中 运行就可以了

 

 

 

 

 

 

转载于:https://my.oschina.net/u/2561483/blog/686194