大数据生态系统基础：Hadoop（六）：Mac 下Hadoop-Eclipse-plugin编译和集成环境配置

 

一、环境配置

         安装0hadoop-eclipse-plugins不是必须的，但是安装了后开发使用比较方便，一是对hadoop中的文件可视化。二是创建MapReduce Project时引入依赖的jar。

       下一步将进行 MapReduce 的开发，在开发之前，首先要安装 Eclipse 插件，这个插件就是 Hadoop-Eclipse-Plugin，安装这个还有点麻烦，原因是：

        1、Mac 环境

         Mac 环境安装 Eclipse 是专用的 Eclipse.App，其 Plugins 的位置和其它版本不一样。

       2、Eclipse OxyGen 最新版本

        Eclipse OxyGen 版本也和其它的安装不一样，可以看到位置在 /Applications/Eclipse.app/Contents/Eclipse下。     

         还要注意的是，Eclipse 在 Mac 中，插件并非是放在 /Applications/Eclipse.app/Contents/Eclipse/plugins 目录下，而是在你的 Home 目录下.  ~/.p2/pool/plugins，这个目录中。

      

       3、Hadoop-Eclipse-Plugin

        这是一个插件，它的源代码在 Github上，地址是：

       https://github.com/winghc/hadoop2x-eclipse-plugin

       可以使用 git clone 下载下来。

        git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git

  

二、编译Hadoop-Eclipse-Plugin

      1、准备 Eclipse 的 Plugins包

            在编译前，需要知道 Eclipse 的插件包在哪里，上面说过，是在~/.p2/pool/plugins 中。

      2、Hadoop 的安装位置

            本系统是在 ~/hadoop 中

      3、git clone 到一个目录中， 本机是在~/source 中

      4、进入到目录：~/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin$

      5、该目录下有一个 build.txt 文件，查看该文件，里面有需要的 jar 文件支持

•  20 <project default="jar" name="eclipse-plugin">
•  21
•  22   <import file="../build-contrib.xml"/>
•  23
•  24   <path id="eclipse-sdk-jars">
•  25     <fileset dir="${eclipse.home}/plugins/">
•  26       <include name="org.eclipse.ui*.jar"/>
•  27       <include name="org.eclipse.jdt*.jar"/>
•  28       <include name="org.eclipse.core*.jar"/>
•  29       <include name="org.eclipse.equinox*.jar"/>
•  30       <include name="org.eclipse.debug*.jar"/>
•  31       <include name="org.eclipse.osgi*.jar"/>
•  32       <include name="org.eclipse.swt*.jar"/>
•  33       <include name="org.eclipse.jface*.jar"/>
•  34
•  35       <include name="org.eclipse.team.cvs.ssh2*.jar"/>
•  36       <include name="com.jcraft.jsch*.jar"/>
•  37     </fileset>
•  38   </path>

         请确保，~/.p2/pool/plugins目录下有这些 jar 文件，我编译的时候就缺乏 org.eclipse.team.cvs.*文件。

       6、开始编译

            确保你已经安装了 apache ant 软件哦。

         ant jar -Dversion=2.6.4 -Dhadoop.version=2.6.4  -Declipse.home=$HOME/.p2/pool/ -Dhadoop.home=/Users/wangxinnian/hadoop

        因为我的 hadoop 是使用的2.6.4版本，所以，标注版本是2.6.4

     7、问题

           第一次编译，有错误：

         

          UILD FAILED
/Users/wangxinnian/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:118: Warning: Could not find file /Users/wangxinnian/hadoop/share/hadoop/common/lib/commons-collections-3.2.1.jar to copy.

          缺乏commons-collections-3.2.1.jar ，但是这个目录下有commons-collections-3.2.2.jar，所以：

          cp commons-collections-3.2.2.jar commons-collections-3.2.1.jar

     8、最后顺利编译完成， 最后产生的 jar 文件

       [jar] Building jar: /Users/wangxinnian/source/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.4.jar

三、安装hadoop-eclipse-plugin-2.6.4.jar

       很麻烦，Oxygen 在 install new software 中不支持直接安装此文件。

       很麻烦， 将文件拷贝到~/.p2/pool/plugins，也无效

       很麻烦， 将文件拷贝到eclipse 的安装目录：/Applications/Eclipse.app/Contents/Eclipse/plugins，也无效

       一筹莫展， 最后，将文件拷贝到/Applications/Eclipse.app/Contents/Eclipse/dropins， 可以了。

        后来看了看，也许在eclipse 的安装目录下，plugins 和 dropins都必须拷贝 才行。

  

四、启动 Eclipse，设置 Hadoop 的运行路径

        在偏好设置中（preference...）中，就可以看到 Hadoop Map/Reduce，并在右边设置 Hadoop 的安装目录即可。

         

       然后，要在界面上显示出这个视图，  Window->show view，选择 other...

     

      然后在界面上显示  Map/Reduce Locations 的标签

    

    至此，该插件已经正确安装。

  五、插件的配置

           在 Map/Reduce Locations 空白处鼠标右键，弹出对话框

        

     

       选择 New Hadoop location 

     

       将上面箭头处的项目填写上， Location name 随便填写， Host 填写 master 的主机名， 端口统一填写9000，由于 Hadoop 2.2以后没有 jobtracker，所以，都填写9000， 填写完毕后，在 project 浏览器视图上可以看到 DFS Locations，可以直接查看 HDFS 的内容。

      

在 DFS Locations 上的文件夹上点击鼠标右键，弹出相应的菜单进行操作。下载、创建新目录、上传文件和上传目录。