hadoop安装

virtualbox 主机虚拟机互ping通,虚拟机可以上网 ssh连接设置

win7 virtualbox4.2.18 vdi 克隆 导入

win7 virtualbox centos6.2 安装增强功能 文件夹共享

win 7 virtualbox 安装 centos 6.3 minimal

centos 6.3 minimal 安装jdk

虚拟机C1,D1,E1之间配置ssh 互信

 

通过上面几篇帖子的设置,我们已经实现主机win7和虚拟机C1,D1,E1之间可以互ping,也都可以实现上网功能.

基础环境 :

宿主机器:

硬盘:1T

虚拟机软件：virtualbox

虚拟机安装系统 centos：

CentOS-6.3-i386-bin-DVD1.iso，minimal

安装了3个centos虚拟机，分别为C1，D1，E1；其分配的内存均为1G，硬盘容量为 40G。

虚拟机中安装的jdk为:jdk-7u40-linux-i586.rpm

hadoop版本为:hadoop-0.20.2.tar.gz

使用到的ssh软件为SSHSecureShellClient-3.2.9.zip

计划通过C1，D1，E1实现hadoop分布式模式。下面我们继续

hadoop的安装

//在C1,D1,E1中使用root用户安装wget : yum install wget,切换回grid 用户

win7主机中下载hadoop-0.20.2.tar.gz,放到共享文件夹vbshare

在C1中,把/mnt/share/hadoop-0.20.2.tar.gz, 拷贝到grid用户主目录~

安装 hadoop:

以C1为例,grid用户 ~目录:

tar zxvf hadoop-0.20.2.tar.gz

进入hadoop-0.20.2/conf/目录,

修改文件core-site.xml、hdfs-site以及mapred-site.xml

[grid@cent1 conf]$ vi core-site.xml

[grid@cent1 conf]$ vi mapred-site.xml

[grid@cent1 conf]$ vi hdfs-site.xml

配置hadoop-env.sh文件

[grid@cent1 conf]$ vi hadoop-env.sh

修改masters和slaves文件

[grid@cent1 conf]$ vi masters

[grid@cent1 conf]$ vi slaves

向D1,E1节点复制hadoop目录

进入~目录:

cd ~
scp -r hadoop-0.20.2 cent2:~/
scp -r hadoop-0.20.2 cent3:~/

格式化分布式文件系统

[grid@cent1 hadoop-0.20.2]$ bin/hadoop namenode -format

启动守护进程

[grid@cent1 hadoop-0.20.2]$ bin/start-all.sh

检测守护进程启动情况

使用jps工具查看java进程

[grid@cent1 hadoop-0.20.2]$ /usr/java/jdk1.7.0_40/bin/jps

OK,hadoop分布式模式(C1,D1,E1)安装完成。

最后，sync 写入磁盘