Hadoop 环境配置和第一个例子

最近想研究下hadoop,折腾了好几天终于跑成功了自带例子CountWord。所以特此开贴记录碰到的问题。

首先是在windows 上安装cygwin上想运行hadoop,无奈实在问题太多,转到虚拟机。

首先借鉴的是这篇文章:http://www.open-open.com/lib/view/open1435761287778.html

总体讲的比较详细,但是在安装过程中还是遇到很多问题,虚拟机安装centos 比较简单,但是在ssh免密码登录的时候还是需要密码,通过搜索和实践,

http://blog.csdn.net/hackerwin7/article/details/28109073 通过这个方法成功了。

之后是配置JDK,这个也相对简单,其中麻烦的就是虚拟机中的vm tools 挂cdrom 会碰到点问题,看不到共享的目录,这个网上搜索也有答案。

然后是配置hadoop,这是问题最多的步骤,首先http://www.open-open.com/lib/view/open1435761287778.html 的配置其实是错误的,网上搜了下,

大部分教程都是转载,问题都一样,其中7,8的标题写的都是配置mapred-site.xml,显然是不对的,经过研究,8配置的应该是yarn-site.xml

主服务器的hadoop scp 到从服务器的时候,passwordauthentication 要打开,可能之前ssh免密码登录的时候已经关闭了,其实开启也没事。

在做格式化之前先把防火墙关闭。自动启动也关闭。hadoop启动时在关闭防火墙,datanode有个进程会消失(原因没找到)。

最纠结的就是hosts 文件了,反复配置了2天,各种尝试,网上的教程也比较坑爹,有的让把127.0.0.1删除,被坑了不少。

下面是我的主服务器配置:

192.168.42.128 localhost
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.129 anyname1
192.168.42.130 anyname2

从:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.129 localhost

128就是主的ip,和从的区别就是自己的ip放在最上面,因为启动hadoop时,监测9000端口时,都是127.0.0.1的ip,不能对外开放,经过尝试得出这种解决方法,

129和130也要配置在主的hosts中,对应的hostname随便填写就好,如果不配置从的ip-hostname的话,启动hadoop会报错,datanode则无法启动。


之后就是格式化和启动hadoop了。上面的问题都解决后,终于在http://192.168.42.128:50070 中看到live nodes 是 2 了。不容易啊。

之后就是eclipse的环境部署,这种教程也是网上一搜一大堆,按部就班后还是会遇到问题,比如刚开始连接的时候

这个下面一个文件夹也没有,以后自己没有连接成功,因为看到网上很多都说连接成功可以看到文件结构,后来摸索了下,本来就是结构嘛,然后再hadoop的hdfs中创建了

input 和 output文件夹,刷新了下 就可以看到了。

之后就新建mapreduce的项目,把CountWord.java复制进去,跑了下就报错createDirectoryWithMode0(Ljava/lang/String;I)V。之后把正确对应版本的hadoop.dll放到system32 中,run的参数设置了下,就能跑了,



不过感觉跑的不像是虚拟机上的mapreduce,还有待研究。


阅读更多
个人分类: java
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Hadoop 环境配置和第一个例子

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭