基于Eclipse的hadoop开发环境配置及worldCount实例运行

最新推荐文章于 2022-07-26 23:57:07 发布
最新推荐文章于 2022-07-26 23:57:07 发布
阅读量900 收藏 1
点赞数
文章标签： hadoop eclipse 插件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wtxwd/article/details/38758391
版权

我的开发环境：

操作系统ubuntu12.04 一个namenode 三个datanode

Hadoop版本：hadoop-1.0.1

Eclipse版本：EclipseSDK3.8.2

第一步：先启动hadoop守护进程

具体参看：http://www.cnblogs.com/flyoung2008/archive/2011/11/29/2268302.html

第二步：在eclipse上安装hadoop插件

1.复制 hadoop-eclipse插件：hadoop-eclipse-plugin-1.2.1到 eclipse安装目录/plugins/ 下。 
下载地址：http://download.csdn.net/detail/wtxwd/7803427
2.重启eclipse，配置hadoop installation directory。 
如果安装插件成功，打开Window-->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。


3.配置Map/Reduce Locations。 
在Window-->Show View中打开Map/Reduce Locations。 
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name，如Hadoop，还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

Map/Reduce Master

master（192.168.1.6）
9001

DFS Master

master（192.168.1.6）
9000
配置完后退出。点击window-perspective,选择map/reduce视图，点击DFS Locations-->Hadoop如果能显示文件夹(2)说明配置正确，如果显示"拒绝连接"，请检查你的配置。

第三步：新建项目。 
File-->New-->Other-->Map/Reduce Project 
项目名可以随便取，如WordCount。 
复制WordCount.java到刚才新建的项目下面。 
源文件下载地址：http://download.csdn.net/detail/wtxwd/7803385
第四步：暂时离开eclipse，上传文件

然后打开终端创建2个文件file01、file02，内容如下
  1. [hadoop@localhost~]$ ls  

classes  Desktop file01  file02  hadoop-0.20.203.0  wordcount.jar WordCount.java


  1. [hadoop@localhost~]$ cat file01  

Hello World Bye World


  1. [hadoop@localhost~]$ cat file02  

Hello Hadoop Goodbye Hadoop

启动hadoop，在hadoop中创建input文件夹
  1. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop dfs -ls  
  2.   
  3. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop dfs -mkdir input  
  4.   
  5. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop dfs -ls  

Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2011-11-23 05:20 /user/hadoop/input

把file01、file02上传input中
  1. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop fs -put file01 input  
  2.   
  3. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop fs -put file02 input  
  4.   
  5. [hadoop@localhost~]$ hadoop-0.20.203.0/bin/hadoop fs -ls input  

Found 2 items

-rw-r--r--   1 hadoop supergroup         22 2011-11-23 05:22/user/hadoop/input/file01

-rw-r--r--   1 hadoop supergroup         28 2011-11-23 05:22/user/hadoop/input/file02


第五步：运行项目

1.在新建的项目Hadoop，点击WordCount.java，右键-->Run As-->Run Configurations 
2.在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount 
3.配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如：

hdfs://master:9000/user/hadoop/input  hdfs://master:9000/user/hadoop/output

4、如果运行时报java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)

-Xms512m -Xmx1024m -XX:MaxPermSize=256m

完成输入输出路径以后，我们点击Apply，但是这个时候不能点击Run，因为这里的run是指在单机上run，而我们是要在hadoop集群上run，因此我们点击close然后执行以下步骤：WordCount.java->右键->Run as->Run on hadoop。


点击finish运行。

使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，可能出现如下错误org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException: Permissiondenied: user=mango, access=WRITE,inode="hadoop"/inode="tmp":hadoop:supergroup:rwxr-xr-x

因为Eclipse使用hadoop插件提交作业时，会默认以 mango 身份去将作业写入hdfs文件系统中，对应的也就是 HDFS上的/user/xxx , 我的为/user/zcf ,   由于 mango用户对hadoop目录并没有写入权限，所以导致异常的发生。

提供的解决方法为：放开 hadoop 目录的权限 ， 命令如下：

$cd /usr/local/hadoop

$ bin/hadoop fs -chmod 777 /user/hadoop

运行成功后控制台显示如下：

13/06/30 14:17:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/06/30 14:17:01 INFO input.FileInputFormat: Total input paths to process : 2
13/06/30 14:17:01 WARN snappy.LoadSnappy: Snappy native library not loaded
13/06/30 14:17:01 INFO mapred.JobClient: Running job: job_local_0001
13/06/30 14:17:02 INFO util.ProcessTree: setsid exited with exit code 0
13/06/30 14:17:02 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1e903d5
13/06/30 14:17:02 INFO mapred.MapTask: io.sort.mb = 100
13/06/30 14:17:02 INFO mapred.MapTask: data buffer = 79691776/99614720
13/06/30 14:17:02 INFO mapred.MapTask: record buffer = 262144/327680
13/06/30 14:17:02 INFO mapred.MapTask: Starting flush of map output
13/06/30 14:17:02 INFO mapred.MapTask: Finished spill 0
13/06/30 14:17:02 INFO mapred.Task: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
13/06/30 14:17:02 INFO mapred.LocalJobRunner: 
13/06/30 14:17:02 INFO mapred.Task: Task 'attempt_local_0001_m_000000_0' done.
13/06/30 14:17:02 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@c01e99
13/06/30 14:17:02 INFO mapred.MapTask: io.sort.mb = 100
13/06/30 14:17:02 INFO mapred.MapTask: data buffer = 79691776/99614720
13/06/30 14:17:02 INFO mapred.MapTask: record buffer = 262144/327680
13/06/30 14:17:02 INFO mapred.MapTask: Starting flush of map output
13/06/30 14:17:02 INFO mapred.MapTask: Finished spill 0
13/06/30 14:17:02 INFO mapred.Task: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting
13/06/30 14:17:02 INFO mapred.LocalJobRunner: 
13/06/30 14:17:02 INFO mapred.Task: Task 'attempt_local_0001_m_000001_0' done.
13/06/30 14:17:02 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@31f2a7
13/06/30 14:17:02 INFO mapred.LocalJobRunner: 
13/06/30 14:17:02 INFO mapred.Merger: Merging 2 sorted segments
13/06/30 14:17:02 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 73 bytes
13/06/30 14:17:02 INFO mapred.LocalJobRunner: 
13/06/30 14:17:02 INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
13/06/30 14:17:02 INFO mapred.LocalJobRunner: 
13/06/30 14:17:02 INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
13/06/30 14:17:02 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://localhost:9000/user/hadoop/output
13/06/30 14:17:02 INFO mapred.LocalJobRunner: reduce > reduce
13/06/30 14:17:02 INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
13/06/30 14:17:02 INFO mapred.JobClient:  map 100% reduce 100%
13/06/30 14:17:02 INFO mapred.JobClient: Job complete: job_local_0001
13/06/30 14:17:02 INFO mapred.JobClient: Counters: 22
13/06/30 14:17:02 INFO mapred.JobClient:   File Output Format Counters 
13/06/30 14:17:02 INFO mapred.JobClient:     Bytes Written=31
13/06/30 14:17:02 INFO mapred.JobClient:   FileSystemCounters
13/06/30 14:17:02 INFO mapred.JobClient:     FILE_BYTES_READ=18047
13/06/30 14:17:02 INFO mapred.JobClient:     HDFS_BYTES_READ=116
13/06/30 14:17:02 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=214050
13/06/30 14:17:02 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=31
13/06/30 14:17:02 INFO mapred.JobClient:   File Input Format Counters 
13/06/30 14:17:02 INFO mapred.JobClient:     Bytes Read=46
13/06/30 14:17:02 INFO mapred.JobClient:   Map-Reduce Framework
13/06/30 14:17:02 INFO mapred.JobClient:     Map output materialized bytes=81
13/06/30 14:17:02 INFO mapred.JobClient:     Map input records=2
13/06/30 14:17:02 INFO mapred.JobClient:     Reduce shuffle bytes=0
13/06/30 14:17:02 INFO mapred.JobClient:     Spilled Records=12
13/06/30 14:17:02 INFO mapred.JobClient:     Map output bytes=78
13/06/30 14:17:02 INFO mapred.JobClient:     Total committed heap usage (bytes)=681639936
13/06/30 14:17:02 INFO mapred.JobClient:     CPU time spent (ms)=0
13/06/30 14:17:02 INFO mapred.JobClient:     SPLIT_RAW_BYTES=222
13/06/30 14:17:02 INFO mapred.JobClient:     Combine input records=8
13/06/30 14:17:02 INFO mapred.JobClient:     Reduce input records=6
13/06/30 14:17:02 INFO mapred.JobClient:     Reduce input groups=4
13/06/30 14:17:02 INFO mapred.JobClient:     Combine output records=6
13/06/30 14:17:02 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
13/06/30 14:17:02 INFO mapred.JobClient:     Reduce output records=4
13/06/30 14:17:02 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
13/06/30 14:17:02 INFO mapred.JobClient:     Map output records=8



运行完毕后在output文件夹中查看结果。

hadoop fs -ls /user/hadoop/output
输出： 

Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2014-08-22 17:13 /user/hadoop/output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         41 2014-08-22 17:13 /user/hadoop/output/part-r-00000
查看文件内容： 

hadoop fs -cat /user/hadoop/output/part-r-00000

输出 
Bye	1
Goodbye	1
Hadoop	2
Hello	2
World	2

至此，eclipse下的WordCount实例运行结束，如果还想重新运行一遍，这需把output文件夹删除或者修改Run Configuration中arguments中的output路径，因为hadoop为了保证结果的正确性，存在输出的文件夹的话，就会报异常，异常如下

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists



ericjauy
关注
Hadoop原理与代码实例讲解
AI天才研究院
07-25 249
Hadoop原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 随着大数据时代的发展，企业级数据量呈现出爆炸式增长的趋势。传统的数据处理方式难以应对大规模数据的存储和计算需求，于是出现了分布式文件系统和数据处理框架，Hadoop便是其中的佼佼
基于Hadoop的分布并行加法的实现
qustqustjay的专栏
10-30 1068
1、搭建好Hadoop环境，包括JDK的安装、Hadoop的安装及文件配置、SSH通信的配置、eclipse Java开发环境的配置（具体安装见最后附件Hadoop安装配置）。 2、本环境配置是在ubuntu下建立了三台虚拟机，一台为master，另两台为slave。打开三台虚拟机，在master上启动Hadoop： 使用jps命令查看结点启动情况，如下表明Hadoop启动成功：
eclipse运行wordcount参数配置
专注JAVA开发
11-05 977
要想wordcount在hadoop上运行，那么必须为wordcount程序指定输入路径和输出路径。输入路径是我们要进行词频统计的文本文件，在这里我们的文件名是20417.txt。而输出路径是词频统计结果存放的路径。如下图所示，是进行参数配置：WordCount.java->右键->Run As->Run Configuration 上述的路径是HDFS中的路径，HDFS路径可以查看下图
基于Eclipse的Hadoop应用开发环境的配置
程序员的艺术人生！
11-13 144
基于Eclipse的Hadoop应用开发环境的配置 配置好了Hadoop运行环境，下一步就要配置，开发环境了。实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。大家打开这个网址，很容易就能Step by step搞定，http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现，这个...
Eclipse配置Hadoop环境并运行WordCount样例
xiaoyezi_1834的博客
07-08 2390
1、下载Hadoop插件并安装 （1）下载hadoop-eclipse-plugin-2.7.2.jar，链接：http://download.csdn.net/detail/tondayong1981/9432425 （2）安装：将hadoop-eclipse-plugin-2.7.2.jar拷贝到/usr/lib/eclipse/plugins目录下 2、配置Ha
Hadoop + eclipse + linux 单机运行 WordCount
booby325的专栏
12-14 259
Eclipse版本3.5， Hadoop版本hadoop-0.20.2   1. 安装Hadoop     下载hadoop-0.20.2, http://www.apache.org/dyn/closer.cgi/hadoop/core/     解压Hadoop并配置Hadoop home 环境变量$ gzip -d hadoop-0.20.2.tar.gz. 切换到Hadoop用户(...
eclipse运行hadoop自带的wordcount程序
windyxue的博客
03-14 812
1.前提准备条件 hadoop已经启动，eclipse已经成功链接dfs 2.新建文件夹和文件 我是在home/psy下新建wordcounttest文件夹 a.txt 文件内容为hello world b.txt文件内容为hello hadoop 3.在hdfs上新建input文件夹 在hadoop的根目录下，我的为/home/psy/downloads/hadoop， ...
Hadoop整体框架
爱吃串串的瘦子的博客
07-17 1万+
大数据框架 目录 大数据框架 一、Hodoop 四大组件：HDFS/MapReduce/YARN/Common 二、Zookeeper 三、Hive 四、Spark 五、ETL 六、ngnix 七、Redis 八、Oracle 十一、Jsp/node.js/JQueryEcharts 一、hadoop http://blog.csdn.net/huanglong8/...
搭建Hadoop的Eclipse开发环境
Cloud的博客
07-24 314
引语：为了搭建eclipse的hadoop开发环境我尝试了网上的不止一种方法，可是我遇到的情况和网上的问题都不太一样，于是我自己总结了一下安装方法以及用到的软件，因为我的版本是2.6.4所以软件也都统一一致，下面就开始部署环境并运行一个实例。首先要用到的软件如下： hadoop-2.6.4.tar.gz hadoop-2.6.4-src.tar.gz hadoop2.6-common-bin(
基于ECLIPSE的HADOOP开发-----HDFS API学习
wly603的专栏
05-01 379
详细见本人另一个博客，     http://www.cnblogs.com/wly603/archive/2012/04/19/2457297.html 谢谢
基于Eclipse的Hadoop应用开发环境配置和范例
a1805180411的专栏
12-14 792
基于Eclipse的Hadoop应用开发环境配置和范例 开发环境： 操作系统Ubutu14.04虚拟环境 Hadoop版本：hadoop-1.2.1 Eclipse版本：eclipse-inst-linux64.tar.gz (通过它进行安装，是eclipse4.5.0版本) 第一步：1）启动ssh： 若不是第一次登陆，而且还需要密码，那说明ssh没有达到免密码登陆
hadoop运行wrodcount卡死被挂起mapreduce.Job: Running job解决方案
hellodakee的博客
03-22 1194
标题Hadoop搭建伪分布式时候 这个错误浪费了我两天时间才找到，特来记录一下 异常效果 mapreaduce运行在LOCAL时，一切正常 mapreaduce运行在YARN时，程序卡死，无任何错误日志，如下图： 思考方向 机器内存是否不足 hosts配置文件是否正确，host是否指向正确的ip hadoop配置是否正确 jps查看namenode，datanode，resourcemana...
eclipse运行hadoop wordcount example
lpxuan151009的专栏
07-11 9719
eclipse运行hadoop wordcount example
使用Eclipse完成WordCount案例（Windows本地运行）
邵奈一的博客
07-26 1771
本教程非常简单，主要是将MapReduce程序给跑起来，至于代码是什么意思，为什么要这么写，其实我们这里并不关心。邵奈一原创不易，如转载请标明出处，教育是一生的事业。
eclipse中安装hadoop插件并运行wordcount
java程序员的蜕变之路
12-25 1436
1:首先下载我们需要的  hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll 链接地址： 2：解压hadoop软件，并且安装到D盘的一个英文路径 3：把hadoop.dll和winutile.exe放到hadoop的bin文件夹里 4:右击我的电脑-->属性-->高级系统设置里面要配置三个属性： （1）变...
hadoop开发：eclipse运行wordcount实例
Chunhong Song的专栏
07-24 7239
首先是hadoop平台的搭建。。。。（既然都要用eclipse运行wordcount实例了，肯定要搭建hadoop平台，或已经搭建好了平台）该实例是在伪分布式上进行的。 搭建好伪分布式后，安装好eclipse，在用eclipse运行第一个wordcount实例之前先要给eclipse安装hadoop开发插件。 关于安装插件博主pig2给出了两种方法，我运用的是后者，即安装插件。博中给出的另一种
在eclipse中编写Hadoop的WordCount程序，并在eclipse中运行
canyang666666的博客
01-14 1088
基于Windows7 + jdk1.8.0_162 + eclipse4.7.2 + Hadoop2.7.7 一、安装eclipse（自行百度） 二、安装jdk（自行百度） 三、下载maven仓库并在eclipse中配置maven环境（后面的文章讲） 四、在eclipse中新建一个maven项目 五、在pom.xml文件中添加相关依赖 dependencies> <dependen.
windows10上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例
热门推荐
u010185220的专栏
01-18 1万+
说明：Hadoop集群已经搭建完毕，集群上使用的Hadoop-2.5.0。 目的：在window10系统上利用Eclipse配置Hadoop开发环境，编写MapReduce关联Hadoop集群。 准备：JDK环境变量配置、Eclipse、hadoop-2.7.5.tar、hadoop-eclipse-plugin-2.7.3.jar、hadoop-common-2.7.3-bin-master
运行hadoop自带示例程序wordcount
迎接小天使
05-23 2389
运行hadoop自带示例程序wordcount 创建 a.txt [hadoop@spark1 ~]$ vim a.txt spark hadoop spark hadoop yarn resouremanager yarn hadoop 创建 b.txt [hadoop@spark1 ~]$ vim b.txt 1001 aaa 1002 bbb had...
Windows下基于Eclipse的Hadoop开发环境搭建指南
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包 本文将指导读者如何在Windows下Cygwin环境中...通过遵循这些步骤，读者可以建立一个基于Eclipse的Hadoop开发环境，以便修改和编译Hadoop代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值