Eclipse 搭建 Hadoop 开发环境

1.  下载 hadoop-eclipse-plugin-2.7.3.jar
     下载 eclipse-java-luna-SR2-win32-x86_64.zip 的 eclispe 版本

2.    解压 eclipse，并将下载 hadoop-eclipse-plugin-2.7.3.jar 置于 eclipse\plugins 目录下。

3.   启动 eclipse， 打开右上角的 open Perspective. 选择 Map/Reduce

4.  选择右下角的 New Hadoop Location。 如下图的 “三角”处的大象

5. 步骤4将会弹出对话框，如下图所示。
      Location name：可以随意填

   Map/Reduce Master （1 框）: 基于 yarn-site.xml，本地没有对该进行配置也是可以，本地采用的是伪分布式。
         <!--<property>  
                  <name>yarn.resourcemanager.address</name>  
                  <value>192.168.47.188:8032</value>  
             </property>  
             <property>  
                  <name>yarn.resourcemanager.scheduler.address</name>  
                  <value>192.168.47.188:8030</value>  
             </propert> 
             <property>  
                  <name>yarn.resourcemanager.resource-tracker.address</name>  
                  <value>192.168.47.188:8031</value>  
             </property>-->
  
    DFS master（2 框）： core-site.xml。IP与端口。
         <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node01:8020</value>
         </property>

    User name: 本地window的账户，可以不用管，不过在运行时，会有权限问题，可以用 chmod g+w 来处理。参见 hive。

6.   在配置完成 finish 后，左侧界面将会出现。 这个和 http://node01:50070/ 进行匹配的。

7.   上述步骤基本完成了 Eclipse 的配置。接下来创建 MapReduce 项目
            File - new - Project - Map/Reduce Project -> next

8. 步骤7 进入该界面后，创建 Project Name，这个自己随意创建。 例如： wordcount

   第一次创建时， 由于没有 hadoop jar包。所以需要 Use default Hadoop。
   //1. 从centos上打包 Hadoop 传输到本地 window。
   //2. 配置 hadoop 环境。
   //   右击我的电脑-->属性-->高级系统设置里面要配置三个属性：
   //   变量名：HADOOP_HOME   变量值：hadoop解压后的路径
   //   path属性里添加一个：%HADOOP_HOME%\bin
   //   变量名：HADOOP_USER_NAME  变量值：root

9.  将 hadoop 压缩包（第八步从centos 上打包获取的）解压到相应的目录下，目录随意。

10.  将 hadoop.dll， winutils.exe 复制到 $HADOOP_HOME/bin 目录下。

11.  Use default Hadoop 将 $HADOOP_HOME 加载。 如下图所示。

12.   上述基本完成了所有配置。创建 java 文件来验证。同时需要创建 log4j.properties， 保存下述字符串。
    // 或者从core-site.xml 同级目录 copy 来 log4j.properties 文件   

    log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    log4j.appender.logfile=org.apache.log4j.FileAppender
    log4j.appender.logfile.File=target/spring.log
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

13.   上述就彻底完成了配置，即可 Run on Hadoop。