windows7+eclipse+hadoop2.3开发环境搭建

原创 2015年07月08日 10:26:11

1.材料准备。eclipse,hadoop-eclipse-plugin,hadoop-2.3.0.tar.gz,hadoop-commom-2.2.0-bin.zip。

2.安装eclipse。首先得有java环境,配置JAVA_HOME,然后官网下载合适的eclipse,都是绿色版,直接解压运行。

3.编译hadoop-eclipse-plugin.jar.可以根据自己的版本网上下载,也可以自己编译,建议自己编译试试,网上有教程。直接将编译好的jar包放到eclipse的plugins目录下。

4.解压hadoop-2.3.0.tar.gz到一个目录,配置HADOOP_HOME,并在path中加入解压后的bin的路径。由于hadoop包中没有在window下运行的相应的包,需要将hadoop-commom-2.2.0-bin.zip中的hadoop.lib,hadoop.dll,libwinutils.lib,winutils.exe放到解压hadoop-2.3.0.tar.gz的bin目录下,hadoop.dll还要放到system32目录下。

5.配置eclipse。windows-》preferences-》hadoop mapreduce,将第4步的路径写上。

6.windows-》show view-》mapreduce locations。

7.找到下面的 map/reduce locations右键编辑,填写hadoop的安装主机ip和yarn-site.xml中的yarn.resourcemanager.scheduler.address中的端口号,和core-site.xml中的fs.defaultfs中的端口号。这是,eclipse应该能够浏览hdfs了。

8.运行wordcount。这是你会发现,并不能运行,但是打成jar包,用hadoop jar命令却能运行。原因是job的配置不全。在代码中加入下面的代码就能运行了。

conf.set("mapreduce.jobtracker.address","192.168.55.245:9001"); 
        conf.set("yarn.resourcemanager.hostname", "192.168.55.245");
        conf.set("yarn.resourcemanager.admin.address", "192.168.55.245:8033");
        conf.set("yarn.resourcemanager.address", "192.168.55.245:8032");
        conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.55.245:8036");
        conf.set("yarn.resourcemanager.scheduler.address", "192.168.55.245:8030");


PS:本教程适合有点粗略,若有不详,请留言。谢谢大家赐教。

上面所需资源有需要的这个地址可以下载。http://download.csdn.net/detail/lizhenmxcz/8879179


版权声明:本文为博主原创文章,未经博主允许不得转载。

Java程序员的C#入门教程 - 开发环境搭建

我记得在Java这个圈子里,如果有初学者请教学习Java的建议时,听得最多的是“初学者建议不要用IDE,原因是IDE把很多细节隐藏起来,建议用其他文本编辑工具”。但是,我们是为了快速地开展工作,当然是...
  • jewes
  • jewes
  • 2011年11月26日 19:22
  • 11873

Android Studio 开发环境的搭建与安装

一.安装的前期准备1.jdk 的安装与配置 甲骨文jdk官网下载尽量下载最新版本,X86是32位版本,X64是64位版本,根据自己电脑的系统决定。 配置java环境变量 计算机→属性→高级系统设置...
  • Bruce_shan
  • Bruce_shan
  • 2016年07月14日 19:08
  • 1423

Realm环境搭建

Realm支持Eclipse的最后版本是0.87.5,更新的版本只支持AndroidStudio,不再支持Eclipse了,所以这里就以0.87.5为例进行说明。 0.87.5的Realm下...
  • cptianyu
  • cptianyu
  • 2016年05月25日 22:51
  • 98

Android 开发环境配置--实现第一个app “hello world!”

本文章写给想要学Android开发,但是苦恼于环境配置的小白, 主要内容为android开发环境配置,实现自己的第一个app。Android环境配置准备: 1)JDK; ...
  • StrongbyTime
  • StrongbyTime
  • 2016年10月13日 21:23
  • 4225

C# 开发环境搭建

C# 开发环境搭建
  • qq_36016407
  • qq_36016407
  • 2017年06月22日 15:06
  • 151

Spark2.x学习笔记:6、在Windows平台下搭建Spark开发环境(Intellij IDEA)

第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA+Maven)6.1 集成开发环境IDE为了方便应用程序开发与测试,提高开发效率,一般使用集成开发工具IDE。同样,为了...
  • chengyuqiang
  • chengyuqiang
  • 2017年09月10日 21:15
  • 2049

linux centos 下搭建开发环境

nginx的安装        1、首先确认是否有安装编译包及依赖包              yum install gcc gcc-c++ openssl openssl-devel zib zi...
  • chadxia88_go
  • chadxia88_go
  • 2016年08月16日 09:28
  • 309

ios html5 搭建PhoneGap开发环境

如何在IOS平台下搭建PhoneGap开发环境(PhoneGap2.5) (2013-03-13 14:44:51) 标签: it      由于在...
  • zhouleizhao
  • zhouleizhao
  • 2014年05月31日 09:00
  • 1709

Android开发环境的搭建(下载platforms并关联framework源文件)

STEP1:           先看看如何加快更新速度,再说如何更新。 首先更新host文件,如图,打开目录 C:\Windows\System32\drivers\etc,在目录下有hos...
  • leirenbaobao
  • leirenbaobao
  • 2014年11月20日 17:18
  • 523

windows Hadoop开发环境搭建及远程提交

这篇文章将介绍如何搭建hadoop的开发环境,并且详细描述如何通过intellij idea开发hadoop的map-reduce程序以及远程提交。 前提:安装hadoop,下载winutils,并...
  • agent_x
  • agent_x
  • 2017年11月29日 13:35
  • 170
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:windows7+eclipse+hadoop2.3开发环境搭建
举报原因:
原因补充:

(最多只允许输入30个字)