windows7+eclipse+hadoop2.3开发环境搭建

原创 2015年07月08日 10:26:11

1.材料准备。eclipse,hadoop-eclipse-plugin,hadoop-2.3.0.tar.gz,hadoop-commom-2.2.0-bin.zip。

2.安装eclipse。首先得有java环境,配置JAVA_HOME,然后官网下载合适的eclipse,都是绿色版,直接解压运行。

3.编译hadoop-eclipse-plugin.jar.可以根据自己的版本网上下载,也可以自己编译,建议自己编译试试,网上有教程。直接将编译好的jar包放到eclipse的plugins目录下。

4.解压hadoop-2.3.0.tar.gz到一个目录,配置HADOOP_HOME,并在path中加入解压后的bin的路径。由于hadoop包中没有在window下运行的相应的包,需要将hadoop-commom-2.2.0-bin.zip中的hadoop.lib,hadoop.dll,libwinutils.lib,winutils.exe放到解压hadoop-2.3.0.tar.gz的bin目录下,hadoop.dll还要放到system32目录下。

5.配置eclipse。windows-》preferences-》hadoop mapreduce,将第4步的路径写上。

6.windows-》show view-》mapreduce locations。

7.找到下面的 map/reduce locations右键编辑,填写hadoop的安装主机ip和yarn-site.xml中的yarn.resourcemanager.scheduler.address中的端口号,和core-site.xml中的fs.defaultfs中的端口号。这是,eclipse应该能够浏览hdfs了。

8.运行wordcount。这是你会发现,并不能运行,但是打成jar包,用hadoop jar命令却能运行。原因是job的配置不全。在代码中加入下面的代码就能运行了。

conf.set("mapreduce.jobtracker.address","192.168.55.245:9001"); 
        conf.set("yarn.resourcemanager.hostname", "192.168.55.245");
        conf.set("yarn.resourcemanager.admin.address", "192.168.55.245:8033");
        conf.set("yarn.resourcemanager.address", "192.168.55.245:8032");
        conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.55.245:8036");
        conf.set("yarn.resourcemanager.scheduler.address", "192.168.55.245:8030");


PS:本教程适合有点粗略,若有不详,请留言。谢谢大家赐教。

上面所需资源有需要的这个地址可以下载。http://download.csdn.net/detail/lizhenmxcz/8879179


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Windows7+Eclipse+jdk7+CentOS5.8+Hadoop2.7.1开发环境搭建

一、hadoop2.7.1伪分布环境搭建   参考文档 http://www.aboutyun.com/thread-7779-1-1.html http://www.aboutyun.com...
  • tetty
  • tetty
  • 2015年10月27日 20:24
  • 601

黑莓开发环境搭建windows7+eclipse+BlackBerry Java Plug+JDK6

最近有点空闲时间,所以就学学黑莓开发,当然要开发第一步就是搭建开发环境,google了一下,有很多教程,但都是很老的了,可能是因为国内开发黑莓的人很少吧。黑莓的好处就是出了名的安全,所以有一批忠实的粉...
  • favormm
  • favormm
  • 2011年09月17日 14:46
  • 3213

Windows7操作系统下使用Eclipse来搭建hadoop开发环境

一、步骤: 1、  安装jdk(略) 2、 安装eclipse(略) 如有问题请参考http://blog.csdn.net/crazytaliban/article/details/68958000...

Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境

转自:http://blog.itpub.net/26230597/viewspace-1370205/ 网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发...

【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建

因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blo...

Windows7+WDK+VS2010+VisualDDK驱动开发环境搭建(菜鸟的经验)

自己在研究驱动开发,第一步就是开发环境的搭建,网上已有很多的教程一,我也是按着教程一步一步搭建的,但在搭建过程的过程当中遇到一些问题,也花了我不少时间。 第一个难题就是,我是Windows7+VS2...
  • favormm
  • favormm
  • 2011年08月12日 23:30
  • 31995

Android NDK开发环境搭建(Windows7平台) .

步骤一:下载并安装NDK 首先,前往从网站http://developer.android.com/sdk/ndk/index.html 获取Windows 平台的最新的Android NDK 套件...

Windows7+WDK+VS2010+VisualDDK驱动开发环境搭建

WINDOWS 7 配置驱动开发环境(wdk7.60) VisualDDK在另一篇文章里面 1.  安装VS2010,WDK7.60(GRMWDK_EN_7600_1) 2.  新建...

OpenCV3.0+VS2013+Windows7开发环境搭建

OpenCV3.0+VS2013+Windows7开发环境搭建,图文详解!

Android学习之 Windows7 Android 开发环境搭建

原文:http://blog.csdn.net/ooflywing/article/details/7799026 搭建开发环境主要需要以下几个工具: 1 JDK 2 Android SDK ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows7+eclipse+hadoop2.3开发环境搭建
举报原因:
原因补充:

(最多只允许输入30个字)