1. 系统+软件
WinXP + Eclipse Version: 4.2.1
2. Hadoop4Win
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
注意:设置环境变量
path 添加:d:/hadoop4win/bin;
3. Eclipse
3.1 安装插件 需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!
3.2 设置Map/Reduce Location
主要是端口号,一般网上的说明都是对的!
高级设置没有改动!
4. 运行程序
4.1 建立 Map/Reduce工程
4.2 找到 WordCount.java程序,在安装example文件下就有
4.3 准备处理文档
在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名
然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdir input
hadoop fs -put file01 input
hadoop fs -put file02 input
4.4 设置运行参数
Run Config中设置
program arguments:
hdfs://localhost:9000/user/hezhixue/input
hdfs://localhost:9000/user/hezhixue/output
VM arguments:
-Xmx512m
5. 异常处理
5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
问题原因:没有安装cygwin 或 没有配置环境变量;
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决;
5.2 java.lang.OutOfMemoryError: Java heap space
问题原因:客户端程序运行时java虚拟机内存分配不够
解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。