一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

原创 2015年07月08日 00:03:15

本博客hadoop版本是hadoop  0.20.2。

安装hadoop-0.20.2-eclipse-plugin.jar

  1. 下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse
  2. 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示

 

到这里插件安装成功

map/reduce配置

  1. 配置hadoop installation directory

    依次点击eclipse的window-----preference,在弹出的窗口中找到Hadoop  Map/Reduce,选择hadoop 安装文件地址(此处的安装文件不需要和集群中的hadoop环境完全一样)

  2. hadoop map/reduce locations配置

在map/Reduce视图下,点击如下图标

会弹出窗口如下,按照图中提示输入对应的内容

 

在Advanced Parameters选项卡,输入内容如下,这里我截两个图

其他设置

验证hadoop map/reduce locations配置

在Map/Reduce的project Explorer视图下,点击dfs下自己配置的map/reduce locations,如果各个节点均可以展开则说明配置没有问题

测试wordcount程序

在hdfs文件系统添加input目录

hadoop fs -mkdir input


在eclipse刷新dfs locations并上传文件,这里我上传了两个文件,文件内容添加部分空格(wordcount根据空格进行统计单词)

运行wordcount

运行wordcount需要命令行参数,参数有两个,第一个是要统计的文件夹hdfs路径,另一个是输出的路径;

这里注意输出路径是上传文件路径的父目录,填写的时候用dfs locations视图双击文件,即可查看该文件的hdfs路径,我们要的是他的目录,这里就是hdfs://192.168.88.128:9000/user/root/input,另外的一个输出参数我写的是hdfs://192.168.88.128:9000/user/root/output

执行过后刷新dfs locations,可以看到在input同级的目录有了output目录

在master机器上执行命令

hadoop fs -lsr /

也可以看到多出了一个output目录,同时其下边多了个文件,此文件就是统计结果

时间不早了,先写到这里吧,明天我会上传相关的插件,同时会上传几个hadoop相关的pdf文档

版权声明: 举报

相关文章推荐

Eclipse下配置使用Hadoop插件

前提,请先配置好Hadoop集群,并启动Hadoop守护进程。 集群搭建参见:http://blog.csdn.net/matraxa/article/details/7179366 我使...

Eclipse搭建hadoop开发环境[hadoop-eclipse-plugin-2.5.2]

上一篇,展示了一个简单的WordCount程序,但是总是使用命令行来操作有些繁琐。 接下来将分享如何使用Eclipse来搭建hadoop开发环境。 开发环境: 系统:window7 IDE:...
  • antgan
  • antgan
  • 2016-07-29 19:53
  • 3579

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Eclipse安装Hadoop插件配置Hadoop开发环境

一、下载Hadoop插件 注意:Hadoop插件要跟自己安装的Hadoop版本相对应。 这儿有一个Hadoop 2.X版本对应的Hadoop插件,前往下载, 下载hadoop2x-eclipse-pl...

配置Hadoop开发环境(Eclipse)

Hadop 2.2.0 Eclipse开发环境配置
  • zythy
  • zythy
  • 2013-12-18 16:43
  • 52887

Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境并写wordcount

0.前言本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建开发环境前保障已经搭建好hadoop的伪分布式。可参考上个博客:...
  • xummgg
  • xummgg
  • 2016-04-17 14:22
  • 6872

Hadoop2.x + eclipse 插件配置

搭建集群那些就不用说了,主要有几个关键的地方需要注意(自己的Hadoop版本是2.5.2)。 0、插件hadoop-eclipse-plugin-2.5.2。自己去github或则什么地方下载,然后...

hadoop2.6.0的eclipse插件编译和设置

hadoop2.6.0的eclipse插件编译和设置

一步一步跟我学习hadoop(6)----hadoop利用FileSystem API 执行hadoop文件读写操作

hadoop文件系统较普通的文件系统差异性主要在于其容错性,普通文件系统不能直接查看hadoop的hdfs对应的文件信息。文件存储起来之后,我们是需要可以访问才能够体现它的价值,hadoop提供了Fi...

一步一步跟我学习hadoop(7)----hadoop连接mysql数据库执行数据读写数据库操作

为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)