lizhenmxcz的博客

leezy之家

windows7+eclipse+hadoop2.3开发环境搭建

1.材料准备。eclipse,hadoop-eclipse-plugin,hadoop-2.3.0.tar.gz,hadoop-commom-2.2.0-bin.zip。

2.安装eclipse。首先得有java环境,配置JAVA_HOME,然后官网下载合适的eclipse,都是绿色版,直接解压运行。

3.编译hadoop-eclipse-plugin.jar.可以根据自己的版本网上下载,也可以自己编译,建议自己编译试试,网上有教程。直接将编译好的jar包放到eclipse的plugins目录下。

4.解压hadoop-2.3.0.tar.gz到一个目录,配置HADOOP_HOME,并在path中加入解压后的bin的路径。由于hadoop包中没有在window下运行的相应的包,需要将hadoop-commom-2.2.0-bin.zip中的hadoop.lib,hadoop.dll,libwinutils.lib,winutils.exe放到解压hadoop-2.3.0.tar.gz的bin目录下,hadoop.dll还要放到system32目录下。

5.配置eclipse。windows-》preferences-》hadoop mapreduce,将第4步的路径写上。

6.windows-》show view-》mapreduce locations。

7.找到下面的 map/reduce locations右键编辑,填写hadoop的安装主机ip和yarn-site.xml中的yarn.resourcemanager.scheduler.address中的端口号,和core-site.xml中的fs.defaultfs中的端口号。这是,eclipse应该能够浏览hdfs了。

8.运行wordcount。这是你会发现,并不能运行,但是打成jar包,用hadoop jar命令却能运行。原因是job的配置不全。在代码中加入下面的代码就能运行了。

conf.set("mapreduce.jobtracker.address","192.168.55.245:9001"); 
        conf.set("yarn.resourcemanager.hostname", "192.168.55.245");
        conf.set("yarn.resourcemanager.admin.address", "192.168.55.245:8033");
        conf.set("yarn.resourcemanager.address", "192.168.55.245:8032");
        conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.55.245:8036");
        conf.set("yarn.resourcemanager.scheduler.address", "192.168.55.245:8030");


PS:本教程适合有点粗略,若有不详,请留言。谢谢大家赐教。

上面所需资源有需要的这个地址可以下载。http://download.csdn.net/detail/lizhenmxcz/8879179


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lizhenmxcz/article/details/46800115
个人分类: hadoop
想对作者说点什么? 我来说一句

JSF+EJB3

2007年08月24日 850KB 下载

Eclipse+MyEclipse开发环境搭建

2018年06月11日 932KB 下载

Android开发环境搭建

2010年04月21日 279KB 下载

android+Phonegap开发环境搭建

2018年01月20日 1.62MB 下载

spark环境搭建

2018年01月22日 48KB 下载

《J2ME开发环境搭建》图文教程

2011年04月29日 902KB 下载

IPHONE开发环境搭建秘笈

2009年10月24日 1.71MB 下载

s60智能手机开发环境搭建

2010年04月27日 62KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭