关闭

windows7+eclipse+hadoop2.3开发环境搭建

标签: windows7eclipsehadoopmapreducejava
392人阅读 评论(0) 收藏 举报
分类:

1.材料准备。eclipse,hadoop-eclipse-plugin,hadoop-2.3.0.tar.gz,hadoop-commom-2.2.0-bin.zip。

2.安装eclipse。首先得有java环境,配置JAVA_HOME,然后官网下载合适的eclipse,都是绿色版,直接解压运行。

3.编译hadoop-eclipse-plugin.jar.可以根据自己的版本网上下载,也可以自己编译,建议自己编译试试,网上有教程。直接将编译好的jar包放到eclipse的plugins目录下。

4.解压hadoop-2.3.0.tar.gz到一个目录,配置HADOOP_HOME,并在path中加入解压后的bin的路径。由于hadoop包中没有在window下运行的相应的包,需要将hadoop-commom-2.2.0-bin.zip中的hadoop.lib,hadoop.dll,libwinutils.lib,winutils.exe放到解压hadoop-2.3.0.tar.gz的bin目录下,hadoop.dll还要放到system32目录下。

5.配置eclipse。windows-》preferences-》hadoop mapreduce,将第4步的路径写上。

6.windows-》show view-》mapreduce locations。

7.找到下面的 map/reduce locations右键编辑,填写hadoop的安装主机ip和yarn-site.xml中的yarn.resourcemanager.scheduler.address中的端口号,和core-site.xml中的fs.defaultfs中的端口号。这是,eclipse应该能够浏览hdfs了。

8.运行wordcount。这是你会发现,并不能运行,但是打成jar包,用hadoop jar命令却能运行。原因是job的配置不全。在代码中加入下面的代码就能运行了。

conf.set("mapreduce.jobtracker.address","192.168.55.245:9001"); 
        conf.set("yarn.resourcemanager.hostname", "192.168.55.245");
        conf.set("yarn.resourcemanager.admin.address", "192.168.55.245:8033");
        conf.set("yarn.resourcemanager.address", "192.168.55.245:8032");
        conf.set("yarn.resourcemanager.resource-tracker.address", "192.168.55.245:8036");
        conf.set("yarn.resourcemanager.scheduler.address", "192.168.55.245:8030");


PS:本教程适合有点粗略,若有不详,请留言。谢谢大家赐教。

上面所需资源有需要的这个地址可以下载。http://download.csdn.net/detail/lizhenmxcz/8879179


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:399次
    • 积分:15
    • 等级:
    • 排名:千里之外
    • 原创:1篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档