Windows下编译、安装Hadoop eclipse插件，编写HelloWord程序

一、软件安装并配置
 1.JDK配置
    1) 安装jdk
    2) 配置环境变量
      JAVA_HOME、CLASSPATH、PATH等设置，这里就不多介绍，网上很多资料
 2.Eclipse
   1).下载eclipse-jee-kepler-SR2-win32-x86_64.zip

   2).解压到本地磁盘，如图所示：

3.Ant

  1）下载
   http://ant.apache.org/bindownload.cgi
   apache-ant-1.9.4-bin.zip
 2）解压到一个盘，如图所示：

 3）.环境变量的配置
    新建ANT_HOME=E:\ant\apache-ant-1.9.4-bin\apache-ant-1.9.4
    在PATH后面加;%ANT_HOME%\bin
 4）cmd 测试一下是否配置正确
    ant version   如图所示：

4.Hadoop
 1).下载hadoop包
    hadoop-2.6.0.tar.gz
   解压到本地磁盘，如图所示：

5 下载hadoop2x-eclipse-plugin源代码
 1）目前hadoop2的eclipse-plugins源代码由github脱管，下载地址是https://github.com/winghc/hadoop2x-eclipse-plugin，然后在右侧的Download ZIP连接点击下载

 2）下载hadoop2x-eclipse-plugin-master.zip
   解压到本地磁盘，如图所示：

二、编译hadoop-eclipse-plugin插件

 1.hadoop2x-eclipse-plugin-master解压在F盘（以下简称H2EP_HOME），打开命令行cmd，切换到F:\Workspaces\workspace_test\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录

 2.执行ant jar
 ant jar -Dversion=2.6.0 -Declipse.home=eclipse的解压目录 -Dhadoop.home=hadoop的解压目录，如图所示：

 3 命令行在ivy-resolve-common处卡了

原因是找不到几个依赖包，那几个依赖包可能是换路径了，其实不需要这几个依赖包也可以
解决方案：修改"H2EP_HOME"\src\contrib\eclipse-plugin\build.xml

找到：

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

去掉depends修改为

<target name="compile" unless="skip.contrib">

再次执行ant jar -Dversion=2.6.0 -Declipse.home=eclipse的解压目录 -Dhadoop.home=hadoop的解压目录，会提示copy不到相关jar包的错误，
解决方案：
修改"H2EP_HOME"\ivy\libraries.properties文件，
将报错的jar包版本号跟换成与"HADOOP_HOME"\share\hadoop\common\lib下面jar对应的版本号
此步可能会有多个jar包版本不匹配，需要多次修改

修改之后再执行ant jar -Dversion=2.6.0 -Declipse.home=eclipse的解压目录 -Dhadoop.home=hadoop的解压目录，就会成功了

三、 Eclipse配置hadoop-eclipse-plugin 插件

1.把hadoop-eclipse-plugin-2.6.0.jar拷贝到eclipse\plugins目录下，重启一下Eclipse，然后可以看到DFS Locations,如图所示：

2.打开Window-->Preferens，可以看到Hadoop Map/Reduc选项，然后点击，然后添加hadoop-2.6.0进来，如图所示：

3.配置Map/ReduceLocations

   1）点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation

   2）点击Map/ReduceLocation选项卡，点击右边小象图标，打开Hadoop Location配置窗口： 输入Location Name，任意名称即可.配置Map/Reduce Master和DFS Mastrer，Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

4.查看是否连接成功

5.在windows下的eclipse连接的时候会报错，错误信息如下：

org.apache.hadoop.security.AccessControlException: Permission denied:

解决方法：

在master节点上修改hdfs-sit.xml加上以下内容

<name>dfs.permissions</name>

<value>false</value>

</property>

重启hadoop集群：

./stop-all.sh

./start-all.sh

四、HelloWord程序

1、在Eclipse里面新建Map/Reduce Project工程

2、新加WordCount类

package  test; import  java.io.IOException; import  java.util.StringTokenizer; import  org.apache.hadoop.conf.Configuration; import  org.apache.hadoop.fs.Path; import  org.apache.hadoop.io.IntWritable; import  org.apache.hadoop.io.Text; import  org.apache.hadoop.mapreduce.Job; import  org.apache.hadoop.mapreduce.Mapper; import  org.apache.hadoop.mapreduce.Reducer; import  org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import  org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public   class  WordCount {         public   static  class  TokenizerMapper  extends  Mapper<Object, Text, Text, IntWritable> {               private   final  static  IntWritable  one  =  new  IntWritable(1);               private  Text  word  =  new  Text();               public   void  map(Object key, Text value, Context context)  throws  IOException, InterruptedException {                   StringTokenizer itr =  new  StringTokenizer(value.toString());                     while  (itr.hasMoreTokens()) {                           word  .set(itr.nextToken());                         context.write(  word  ,  one  );                   }             }       }         public   static  class  IntSumReducer  extends  Reducer<Text, IntWritable, Text, IntWritable> {               private  IntWritable  result  =  new  IntWritable();               public   void  reduce(Text key, Iterable<IntWritable> values, Context context)  throws  IOException, InterruptedException {                     int  sum = 0;                     for  (IntWritable val : values) {                         sum += val.get();                   }                     result  .set(sum);                   context.write(key,  result  );             }       }         public   static  void  main(String[] args)  throws  Exception {             Configuration conf =  new  Configuration();             Job job = Job. getInstance(conf,  "word count" );             job.setJarByClass(WordCount.  class  );             job.setMapperClass(TokenizerMapper.  class  );             job.setCombinerClass(IntSumReducer.  class  );             job.setReducerClass(IntSumReducer.  class  );             job.setOutputKeyClass(Text.  class  );             job.setOutputValueClass(IntWritable.  class  );             FileInputFormat. addInputPath(job,  new  Path(args[0]));             FileOutputFormat. setOutputPath(job,  new  Path(args[1]));             System. exit(job.waitForCompletion(  true ) ? 0 : 1);       } }

3、为了运行程序，我们需要一个输入的文件夹，和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。我们需要给程序一个输入文件夹

①、在Linux下任意位置新建文件夹input，并在文件夹下新建两个文件file01、file02，这两个文件内容分别如下：

file01

HelloWorld Bye World

file02

HelloHadoop Goodbye Hadoop

②、将文件夹input上传到分布式文件系统中。

在已经启动Hadoop守护进程终端中cd 到hadoop安装目录，运行下面命令：

bin/hadoop fs -put 刚才创建的input文件夹 目标input文件夹

这个命令将input文件夹上传到了hadoop文件系统了，在该系统下就多了一个input文件夹，你可以使用下面命令查看：

bin/hadoop fs -ls

4、在Eclipse中运行WordCount.java类

①、点击WordCount.java右击-->Run As-->Run COnfigurations   设置输入和输出目录路径，如图所示：

②、击WordCount.java右击-->Run As-->Run on  Hadoop

③、在Windows环境下的Eclipse中运行的话会抛异常，信息如下：

Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

解决方法：

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。

修改hadoop-1.2.1 /src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可

private   static   void  checkReturnValue(  boolean  rv, File p,  FsPermission permission  )  throws  IOException {        /**       if (! rv) {         throw new IOException("Failed to set permissions of path: " + p +                             " to " +                             String.format("%04o", permission.toShort()));       }       */   }

④、将这个 FileUtil.java放在Eclipse里面编译，编译之后替换掉 hadoop-core-1.2.1.jar 里面对应的 FileUtil

这里提供一个已经替换好的 hadoop-core-1.2.1.jar 下载地址： http://pan.baidu.com/s/1ntmm2yX 然后替换Linux下对应的 hadoop-core-1.2.1.jar，重新启动Hadoop环境，再运行WordCount类就可以看到结果了