hadoop学习【5】——搭建伪分布式hadoop平台
【前言】今天没事,想想这在机房搭建好的hadoop平台也不能跟着我走,学习hadoop也不方便,所以本着学习方便,所以在我自己的机子上部署个伪分布式的hadoop平台,刚刚跑起来了,所以写一篇博客跟大家分享下怎么去部署一台属于自己的所谓的hadoop平台。
一、环境介绍:
(1)硬件环境:我的机子是4G内存的,500G硬盘
(2)软件环境:虚拟机环境下的CentOS5.3 32位操作系统(这个系统貌似还有点问题,我前面在台式机上单独装的时候,会出现读不了物理网卡的情况,推荐大家装6.4的版本或以上的吧),机子本身是java的jdk的,但是版本过低。
二、JDK安装配置:
(1)jdk下载:这里一定要注意要下对应的JDK,32位还是64位,一定要看好,不要白忙活半天
(2)jdk配置:我这里下载的是jdk1.8.0_05,放在/usr目录下,
配置:vi /etc/profile,如下图,在下面接着加上如下内容,注意,目录结构应该跟你本机相对应
但是这个时候,如果你敲java或者javac会发现还是原来内置的jdk版本,或者根本找不到命令,因为还少了一件事没有做:
其中的source /etc/profile一定要写,让profile立即生效
但是,这里大家可以看到,我写了依旧出错,这个显示意味着版本不对,因为我在32位机器上装了64为的jdk
然后我换64位安装,还是安装上面的步骤即可,这个时候出现的问题如下:
这是selinux的设置的问题,修改下面的文件即可:
然后重启一下系统即可。
好现在输入java和javac都会有相应的正确的显示了。
三、hadoop安装配置
(1)hadoop下载:这里我依旧使用的hadoop-1.1.2
(2)hadoop配置(还是常规的配置):
这里masters和slaves文件不需要改,因为根本就没有第二个结点了,自己就是自己的datanode
同样/etc/hosts也是不需要修改的
(3)免密码配置:这里相对于配置多台机子来说又要简单很多
只需要使用ssh-keygen -t rsa,一路enter即可,然后将id_rsa.pub复制到当前目录下的authorized.keys
然后测试一下:ssh localhost,不需要密码
OK,hadoop配置结束!!!
四、测试:
OK!!!大功告成