win10 下利用eclise 访问本地的hadoop 和 虚拟机下的hadoop

win10 下利用eclipse 访问本地的hadoop 和 虚拟机下的hadoop

记录用eclipse 访问win10下的hadoop 和虚拟机下的hadoop 的配置过程中踩过的一些坑。不是安装教程，当然如果大家有什么安装过程中遇到的问题也可以一块探讨

安装步骤：

• **1.**下载jdk，并配置环境变量，这里不多说（win下的和ubuntu下的都要配置）

• 2.下载hadoop并按照在本地安装的形式进行解压和配置相关文件-包括环境变量的设置（**本地：**所有的路径都为 localhost，如下图红圈所示，其他的文件配置也依次这样设置）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H8hRREmD-1573405080435)(https://img-blog.csdn.net/20170818182109697?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd3pnMTk5NTM4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)]

• **3.**在虚拟机上进行测试是否配置成功，如果运行jps命令能够拉起四个进程则配置成功

• **4.**在windows 下解压hadoop 并配置环境变量，同样以在本地安装的形式。测试是否配置成功

• **5.**在windows 的eclipse 下运行hadoop（包括hadoop-eclipse插件、winutils.exe 和 hadoop.dll文件放在指定文件夹下之后才能运行eclipse 并进行相关设置）

• **6.**在eclipse 下配置本地hadoop 并运行wordcount 案例进行测试（本地hadoop配置如下）

  

配置之后如没有出现错误则正常，如下local_hadoop。连接出错自行解决并没有问题时在进行下一步。

• **7.**在ubuntu 的hadoop 用户上，更改配置文件的本地路径为你ubuntu的网络ip，（在此可以先行设置虚拟机的ip，具体设置自行百度）其他的可以不用更改。如图所示，我的更改为192.168.100.128 其他配置文件依次更改

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D0AUnJsl-1573405080438)(https://img-blog.csdn.net/20170818184434703?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd3pnMTk5NTM4/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)]

• **8.**在ubuntu下 启动hadoop ，正常启动则下一步。

• **9.**在windows 下的eclipse 中添加 hadoop。方法同步骤6，不过host 为你在ubuntu的配置文件中写的地址，Username 栏填的是你在ubuntu 下的用户名。我的配置如下图：

• **10.**点击finish 之后连接成功再进行下一步（建议在ubuntu 下设置好了ip 之后进行重启。）。如果正常则大功告成。下面运行相关案例进行测试说明。

首先在hadoopm目录下如下路径\share\hadoop\mapreduce\sources 找到一个 hadoop-mapreduce-examples-2.7.2-sources.jar 的文件，解压之后有一个WordCount.java的文件。

在eclipse下 新建Map/Reduce Project ,next之后在 Librarties 界面Add library-> User Libarary 新建一个Library ，然后里面加入hadoop 目录下 share\hadoop 下的common、 reduce、 yarn、hdfs 下的jar 包全部加入进去（我是全部加进去的，方便不遗漏）。完成之后回到创建项目添加liarary 界面上，选择你刚才新建的user liarary 完成。

在项目中加入你刚才的WordCount.java 文件。

• **11.**在DFS Locations 的本地hadoop 和ubuntu hadoop 右键test 文件夹用作测试。在test 下创建input 文件夹用于存入测试数据。自己创建file1.txt 输入文本 ‘hello java hello hadoop’（文本内容随意），在cmd 下hadoop 目录利用 命令（命令自行百度）将file1.txt 放在input 目录下。效果如图：

• 12.在新建好的项目中，WordCount.java 文件run as -> run configurations .运行方式 java application ,参数设置：
  如果要在本地hadoop 上运行，设置参数如下：
  hdfs://local:9000/test/input
  hdfs://local:9000/test/output
  如果要在虚拟机上的hadoop 上运行，设置参数如下：
  hdfs://192.168.100.128:9000/test/input
  hdfs://192.168.100.128:9000/test/output

正常运行会在DFS Location 下的两个hadoop 上生成相关的output 文件夹，到此结束。

如果有问题欢迎大家一块探讨