Hadoop4Win+Eclipse

1. Hadoop4Win

   http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win

   注意：设置环境变量

   path 添加：d:/hadoop4win/bin;

2. Eclipse

   3.1 安装插件 需要下载Hadoop-0.20.3-dev-eclipse-plugin.jar，否则Run on Hadoop没有反应！ Google搜索下载即可！

   3.2 设置Map/Reduce Location

       主要是端口号，一般网上的说明都是对的！
   
       高级设置没有改动！
   

3. 运行程序

   4.1 建立 Map/Reduce工程

   4.2 找到 WordCount.Java程序，在安装example文件下就有

   4.3 准备处理文档

     在windows下编辑两个文本，file01.txt和file02.txt，里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名
   
     然后在hadoop4win打开的Cygwin终端中：
     cd /home/你的用户名
   
     hadoop fs -mkdir input
     hadoop fs -put file01 input
     hadoop fs -put file02 input
   

   4.4 设置运行参数

     Run Config中设置
   
     program arguments:
   

   hdfs://localhost:9000/user/hezhixue/input
   hdfs://localhost:9000/user/hezhixue/output

   VM arguments:
   -Xmx512m

4. 异常处理

   5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program “chmod”: CreateProcess error=2,”

   问题原因：没有安装cygwin 或 没有配置环境变量；
   解决办法：安装并配置环境变量 bin到 path下 重启 eclipse 问题解决；

   5.2 java.lang.OutOfMemoryError: Java heap space

问题原因：客户端程序运行时java虚拟机内存分配不够

解决办法：修改run configuration，选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存即可解决问题。