一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

原创 2015年07月08日 00:03:15

本博客hadoop版本是hadoop  0.20.2。

安装hadoop-0.20.2-eclipse-plugin.jar

  1. 下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse
  2. 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示

 

到这里插件安装成功

map/reduce配置

  1. 配置hadoop installation directory

    依次点击eclipse的window-----preference,在弹出的窗口中找到Hadoop  Map/Reduce,选择hadoop 安装文件地址(此处的安装文件不需要和集群中的hadoop环境完全一样)

  2. hadoop map/reduce locations配置

在map/Reduce视图下,点击如下图标

会弹出窗口如下,按照图中提示输入对应的内容

 

在Advanced Parameters选项卡,输入内容如下,这里我截两个图

其他设置

验证hadoop map/reduce locations配置

在Map/Reduce的project Explorer视图下,点击dfs下自己配置的map/reduce locations,如果各个节点均可以展开则说明配置没有问题

测试wordcount程序

在hdfs文件系统添加input目录

hadoop fs -mkdir input


在eclipse刷新dfs locations并上传文件,这里我上传了两个文件,文件内容添加部分空格(wordcount根据空格进行统计单词)

运行wordcount

运行wordcount需要命令行参数,参数有两个,第一个是要统计的文件夹hdfs路径,另一个是输出的路径;

这里注意输出路径是上传文件路径的父目录,填写的时候用dfs locations视图双击文件,即可查看该文件的hdfs路径,我们要的是他的目录,这里就是hdfs://192.168.88.128:9000/user/root/input,另外的一个输出参数我写的是hdfs://192.168.88.128:9000/user/root/output

执行过后刷新dfs locations,可以看到在input同级的目录有了output目录

在master机器上执行命令

hadoop fs -lsr /

也可以看到多出了一个output目录,同时其下边多了个文件,此文件就是统计结果

时间不早了,先写到这里吧,明天我会上传相关的插件,同时会上传几个hadoop相关的pdf文档

相关文章推荐

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

hadoop2.6.0的eclipse插件编译和设置

hadoop2.6.0的eclipse插件编译和设置

在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决

WordCount源代码如下: package org.apache.hadoop.examples; import java.io.IOException;import java.util.S...

Windows 使用Eclipse配置连接hadoop,编译运行MapReduce --本地调试WordCount

1.准备工作 操作系统:windows 10  开发工具:eclipse 4.5 java虚拟机 :jdk-8u91-windows-x64.exe hadoop版本:hadoop-2.6.4.tar...
  • zz0548
  • zz0548
  • 2016年05月04日 10:47
  • 2330

hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子

前提是在linux上配置好了hadoop开发环境,下面介绍详细步骤: 1,首先windows下安装好jdk,eclipse。 2,下载文件hadoop-eclipse-plugin-2.7.2.jar...

win7 x64下eclipse远程到hadoop2.6.0集群服务器+word count 实例演示

由于实验室在做Spark的研究,所以需要搭建相关的平台进行实验。由于每次提交测试代码都需要先打包后上传到linux虚拟机中,再ssh到服务器上去跑比较麻烦。所以就有如下的分享。 假设你已经搭建好完全...

Eclipse安装Hadoop插件配置Hadoop开发环境

一、下载Hadoop插件 注意:Hadoop插件要跟自己安装的Hadoop版本相对应。 这儿有一个Hadoop 2.X版本对应的Hadoop插件,前往下载, 下载hadoop2x-eclipse-pl...

用Eclipse搭建Hadoop2.7.1开发环境

安装之前下载所需软件: eclipse:http://www.eclipse.org/downloads/ jre下载:http://www.java.com/en/download/manual...

eclipse中Hadoop的DFS Location无法显示DFS下的文件 解决方法

转载于:http://hi.baidu.com/wlygqy/blog/item/9649864dc8ace829b2de0551.html 转载自 guxuanguichen 最...
  • jtlyuan
  • jtlyuan
  • 2012年04月30日 22:52
  • 4458

eclipse project explorer中的工程都不显示的解决办法

在eclipse的工作空间中存在工程,在eclipse package explorer也可以看到,却在eclipse project explorer却不显示解决方案如下: 首先点击小三角 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序
举报原因:
原因补充:

(最多只允许输入30个字)