一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

原创 2015年07月08日 00:03:15

本博客hadoop版本是hadoop  0.20.2。

安装hadoop-0.20.2-eclipse-plugin.jar

  1. 下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse
  2. 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示

 

到这里插件安装成功

map/reduce配置

  1. 配置hadoop installation directory

    依次点击eclipse的window-----preference,在弹出的窗口中找到Hadoop  Map/Reduce,选择hadoop 安装文件地址(此处的安装文件不需要和集群中的hadoop环境完全一样)

  2. hadoop map/reduce locations配置

在map/Reduce视图下,点击如下图标

会弹出窗口如下,按照图中提示输入对应的内容

 

在Advanced Parameters选项卡,输入内容如下,这里我截两个图

其他设置

验证hadoop map/reduce locations配置

在Map/Reduce的project Explorer视图下,点击dfs下自己配置的map/reduce locations,如果各个节点均可以展开则说明配置没有问题

测试wordcount程序

在hdfs文件系统添加input目录

hadoop fs -mkdir input


在eclipse刷新dfs locations并上传文件,这里我上传了两个文件,文件内容添加部分空格(wordcount根据空格进行统计单词)

运行wordcount

运行wordcount需要命令行参数,参数有两个,第一个是要统计的文件夹hdfs路径,另一个是输出的路径;

这里注意输出路径是上传文件路径的父目录,填写的时候用dfs locations视图双击文件,即可查看该文件的hdfs路径,我们要的是他的目录,这里就是hdfs://192.168.88.128:9000/user/root/input,另外的一个输出参数我写的是hdfs://192.168.88.128:9000/user/root/output

执行过后刷新dfs locations,可以看到在input同级的目录有了output目录

在master机器上执行命令

hadoop fs -lsr /

也可以看到多出了一个output目录,同时其下边多了个文件,此文件就是统计结果

时间不早了,先写到这里吧,明天我会上传相关的插件,同时会上传几个hadoop相关的pdf文档

Eclipse中hadoop2.7.1的插件下载及安装步骤

我的eclipse、linux、windows、hadoop、zookeeper都是64位的,插件也是基于64位的,安装好的界面如下: 我上传的...
  • tianjun2012
  • tianjun2012
  • 2015年10月20日 15:33
  • 6224

Eclipse搭建hadoop开发环境[hadoop-eclipse-plugin-2.5.2]

上一篇,展示了一个简单的WordCount程序,但是总是使用命令行来操作有些繁琐。 接下来将分享如何使用Eclipse来搭建hadoop开发环境。 开发环境: 系统:window7 IDE:...
  • antgan
  • antgan
  • 2016年07月29日 19:53
  • 7089

eclipse安装hadoop插件

  • 2013年06月17日 10:29
  • 393KB
  • 下载

Hadoop2.7.0学习——Windows下hadoop-eclipse-plugin-2.7.0插件安装

Hadoop2.7.0学习——hadoop-eclipse-plugin-2.7.0插件安装
  • flygoa
  • flygoa
  • 2016年08月17日 10:33
  • 3134

Eclipse下配置使用Hadoop插件

前提,请先配置好Hadoop集群,并启动Hadoop守护进程。 集群搭建参见:http://blog.csdn.net/matraxa/article/details/7179366 我使...
  • matraxa
  • matraxa
  • 2012年01月06日 22:01
  • 30462

Windows下eclipse上安装hadoop插件,编写mapreduce 程序

前言:几经周折 终于搞定了eclipse上对 hadoop 编写的配置,写此博文,给后来者一些帮助,少走弯路。 电脑配置: 虚拟机:vmm 上 centos 6.5   hadoop: ...
  • u014167893
  • u014167893
  • 2017年05月13日 19:54
  • 1430

eclipse 下安装hadoop2.5.2插件

eclipse 下安装hadoop2.5.2插件
  • bahaidong
  • bahaidong
  • 2014年12月16日 16:53
  • 4689

hadoop学习【6】——CentOS下eclipse安装和hadoop插件安装配置

hadoop学习【6】——CentOS下eclipse安装和hadoop插件安装配置
  • huangbin6
  • huangbin6
  • 2014年06月07日 21:44
  • 1103

Hadoop伪分布式运行wordcount小例子

先说点小知识 hadoop fs 使用面最广,可以操作任何文件系统 hadoop dfs和hdfs dfs只能操作HDFS相关的 在上一篇博客中,我们已经成功启动了HDFS和YARN,接下来 先建数...
  • Dr_Guo
  • Dr_Guo
  • 2016年03月14日 22:33
  • 2189

基于hadoop0.20.2的wordcount实例

package com.founder.hadoop.mapreduce; import java.io.IOException; import java.util.StringToken...
  • wxloveyun
  • wxloveyun
  • 2014年05月08日 16:17
  • 269
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序
举报原因:
原因补充:

(最多只允许输入30个字)