在Eclipse下搭建Hadoop开发环境

 

　　在前面的博文中博主展示了如何在虚拟机中搭建Hadoop的单节点伪分布集群，今天给大家介绍一下如何在Eclipse环境中搭建Hadoop的管理和开发环境，话不多说，下面我们就进入正题吧！

1.JDK安装配置

　　如果还没有安装Eclipse的朋友们需要先安装并配置好JDK，再下载安装Eclipse，这些我相信大家走到这一步的时候肯定都会了，就不赘述了。接下来，进入Hadoop环境搭建。

2.Hadoop插件安装和配置

　　在Eclipse配置Hadoop环境之前应该是没有对应插件的（进入Eclipse —> Windows —> Preferences），如下图所示。

　　要安装Hadoop插件的话我们得先知道所安装的Hadoop版本，这样才能对症下药安装对应插件。这需要在我们的虚拟机（或Xshell等远程连接工具）中进行查看，操作如下图所示。

　　如图所示，博主安装的Hadoop版本为2.2.0，所以需要安装对应的插件，插件下载地址为：32位版JDK下载 hadoop2.2 32位版Windows运行包，64位版JDK下载 hadoop2.2 64位版Windows运行包。

　　下载完成之后，将其放到你所安装的Eclipse目录下的dropins文件下。

　　

 

　　然后，我们重启一下，然后再次进入Windows —> Preferences可看到我们已经成功安装好了Hadoop插件（如下图所示），接下来我们要对其进行配置。

　　点击Hadoop Map/Reduce选项，进入配置页面，点击Browse，选择Hadoop安装路径（能够看到bin文件夹的路径）填入其中。是的，配置就是这么简单。

　　

3. 配置环境变量

　　从桌面电脑图标右键进入“属性”界面，选择“高级系统配置”，选择“环境变量”，然后选择“系统变量”下的新建，添加一个HADOOP_HOME的变量，变量值为HADOOP安装路径（能够看到bin文件夹的路径），博主的为：D:\Software\Hadoop2.2\hadoop-2.2.0-x64

                                                                              

 

　　接下来，往系统变量Path里追加“；HADOOP_HOME\bin”，注意：win10系统按照以下格式添加，win7应该是字符串格式，如果没有分号一定要自己补上！

4. 配置Map/Reduce Locations

　　

打开 Windows—> show view —> Other，选择MapReduce Tools下的Map/Reduce Locations。

　　点击下图右上角位置的小象，进入配置页面。

　　

 　　其中，Location name自定义一个名字就行，配置Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可（Host为hadoop节点的hostname，DFS Mastrer下的port为HDFS端口号，User name为安装Hadoop节点用户名称，如下图）。

　　配置好上面的hostname后，需要添加一条hostname 的解析。 在Windows下，以管理员的身份打开C:\Windows\System32\drivers\etc\hosts文件，并追加以下字段（hostname对应个人的配置）。

                                                           

 

5. 测试

　　在虚拟机中启动集群

　　点击Eclipse右上角的小象图标，然后就可以看到Hadoop节点的信息了。

　　此时，在虚拟机中用Shell命令的形式可以对Hadoop进行管理，比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了（如果没有同步请先右键点击refresh刷新一下），也就是说可以同步对Hadoop进行管理和开发。在这种情况下当然是在Eclipse中更简便咯，这也就是我们本次教程的目的所在。

 

　　此时，我们也可以从浏览器中查看一下我们Hadoop节点的信息。

　　显然，不论是从虚拟机、Eclipse还是浏览器，我们所看到的内容都是同步。所以，我们的配置是成功的！接下来我们将会在后面的博文中通过一些小例子进入实战学习吧。

 

以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来一定的指导作用，有用的还望大家点个支持，如果对你没用也望包涵，有错误烦请指出。如有期待可关注博主以第一时间获取更新哦，谢谢！

　　

 版权声明：本文为博主原创文章，未经博主允许不得转载。

 

 

 

　　

 

转载于:https://www.cnblogs.com/zimo-jing/p/8579065.html