Hadoop4Win + Eclipse 运行 WordCount 程序

转载 2013年12月04日 12:22:04

1. 系统+软件

     WinXP + Eclipse Version: 4.2.1

 

2. Hadoop4Win

   http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win

 

   注意:设置环境变量

   path 添加:d:/hadoop4win/bin;

3. Eclipse

    3.1 安装插件  需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!

    3.2 设置Map/Reduce Location

            主要是端口号,一般网上的说明都是对的!

            高级设置没有改动!

4. 运行程序

    4.1 建立 Map/Reduce工程

    4.2 找到 WordCount.java程序,在安装example文件下就有

    4.3 准备处理文档

          在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名

          然后在hadoop4win打开的Cygwin终端中:
          cd /home/你的用户名
  
          hadoop fs -mkdir input
          hadoop fs -put file01 input
          hadoop fs -put file02 input

    4.4 设置运行参数

          Run Config中设置

          program arguments:
    hdfs://localhost:9000/user/hezhixue/input
      hdfs://localhost:9000/user/hezhixue/output
   
    VM arguments:
    -Xmx512m

 

5. 异常处理

     5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
 
  问题原因:没有安装cygwin 或 没有配置环境变量;
  解决办法:安装并配置环境变量 bin到 path下 重启 eclipse   问题解决;


  5.2 java.lang.OutOfMemoryError: Java heap space


问题原因:客户端程序运行时java虚拟机内存分配不够


解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。

Hadoop4Win + Eclipse 运行 WordCount 程序

1. 系统+软件      WinXP + Eclipse Version: 4.2.1 2. Hadoop4Win    http://trac.nchc.org.tw/cloud/wiki/H...
  • hezhixue
  • hezhixue
  • 2013年09月16日 09:28
  • 595

在eclipse和命令行运行第一个WordCount程序实验心得

在eclipse和命令行运行第一个WordCount程序实验心得
  • qq_36411874
  • qq_36411874
  • 2017年04月01日 00:00
  • 467

在Windows下的Eclipse中如何将WordCount程序提交到集群运行

如何将Windows下在Eclipse开发的Hadoop程序直接提交到远程的Hadoop集群运行呢?
  • Deng2012web
  • Deng2012web
  • 2016年07月17日 12:18
  • 1192

在windows7下Eclipse中运行Hadoop的WordCount程序

如何在windows7下运行hadoop的wordcount
  • Deng2012web
  • Deng2012web
  • 2016年07月14日 14:43
  • 2003

Eclipse运行wordcount步骤

Eclipse运行wordcount步骤     第一步:建立工程,导入代码。 第二步:建立文件写入数据(以空格分开),并上传到hdfs上。 1、创建文件并写入数据: 2、上传hdfs 在hado...
  • baolibin528
  • baolibin528
  • 2014年06月25日 13:53
  • 2593

Eclipse下运行Hadoop测试WordCount

大数据,分布式近年来被炒得非常热,而Hadoop作为一种开源的分布式平台也越来越受人关注,其热度从CSDN的主页上的曝光率就可知一二。 我最早接触Hadoop是在大二的时候,听香港理工的曹建农教授介绍...
  • moonpure
  • moonpure
  • 2015年07月21日 11:30
  • 1165

hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount

1.配置eclipse     1.1 下载 linux版的 eclipse  百度云 - 大数据资料专辑    1.2 解压      可以手动提取,也可以命令提取: yuan@LAB...
  • LABLENET
  • LABLENET
  • 2016年01月21日 22:08
  • 951

hadoop开发:eclipse运行wordcount实例

首先是hadoop平台的搭建。。。。(既然都要用eclipse运行wordcount实例了,肯定要搭建hadoop平台,或已经搭建好了平台)该实例是在伪分布式上进行的。 搭建好伪分布式后,安装好ecl...
  • SONGCHUNHONG
  • SONGCHUNHONG
  • 2015年07月24日 21:29
  • 3556

Eclipse运行Hadoop WordCount例程

Hadoop开发环境搭建-Eclipse插件配置 中
  • happyjiwawa
  • happyjiwawa
  • 2014年07月07日 22:04
  • 2623

Eclipse下运行Hadoop程序(以WordCount为例,使用Maven)

这里使用的是Hadoop 2.7.1版本,其他版本应该也大致通用配置Hadoop开发环境使用maven可以很轻松地配置 新建一个Maven项目,然后在pom.xml中添加如下依赖项后,update即...
  • luo123n
  • luo123n
  • 2015年10月24日 16:22
  • 3584
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop4Win + Eclipse 运行 WordCount 程序
举报原因:
原因补充:

(最多只允许输入30个字)