hadoop的伪分布式模式配置与安装

hadoop的伪分布式模式配置与安装

 

上次对hadoop单机模式中已经介绍了hadoop的基本安装，本次将讲解hadoop的伪分布式模式进行对hadoop的基本模拟部署。

 

安装软件：

         系统：Linux 2.6.32-358.el6.x86_64

         JDK：jdk-7u7-linux-i586.tar.gz

         Hadoop版本：hadoop-0.20.2-cdh3u4.tar.gz

硬件环境：

         三台主机：分别为

gdy192             192.168.61.192

gdy194             192.168.61.194

gdy195             192.168.61.195

本次部署模型为：

gdy192上部署：NameNode和JobTracker

gdy194上部署：SecondaryNameNode

gdy195上部署：DateNode TaskTracker

 

首先配置三台主机的hosts文件，以便之后不用ip而直接用别名进行相互访问

首先在gdy192上配置一份信息。

[root@gdy192 /]#vim /etc/hosts

wq保存退出

将已经配置好的文件分别拷贝一份到其他两台主机上

拷贝文件到gdy194上

[root@gdy192 ~]#scp /etc/hosts root@gdy194:/etc/

输入gdy194的root密码

 

拷贝成功。

去gdy194上查看/etc/hosts验证是否是叫我们刚才修改的文件

[root@gdy194 /]#cat /etc/hosts

可以看到拷贝成功。

同样再次拷贝一份到gdy195

在gdy192上输入：

[root@gdy192 ~]#scp /etc/hosts root@gdy195:/etc/

这里就不验证了。

在gdy192上创建jDK和Hadoop的安装目录gd

[root@gdy192 /]#mkdir /usr/gd/ -pv

在gdy194上创建JDK和Hadoop的安装目录gd

在gdy195上创建JDK和Hadoop的安装目录gd

分别在gdy192,gdy194,gdy195上创建hduser用户并设置密码

在gdy192上

[root@gdy192 /]#useradd hduser

[root@gdy192 /]#passwd hduser

在gdy194上

[root@gdy194 /]#useradd hduser

[root@gdy194 /]#passwd hduser

在gdy195上

[root@gdy195 /]#useradd hduser

[root@gdy195 /]#passwd hduser

将之前准备好的软件包拷贝到gdy192上，

如下图是我已经拷贝好的文件

将这两个文件解压到之前创建的目录/usr/gd/下面

[root@gdy192ftpftp]# tar -xf jdk-7u7-linux-i586.tar.gz -C /usr/gd/

[root@gdy192ftpftp]# tar -xf hadoop-0.20.2-cdh3u4.tar.gz -C /usr/gd/

使用ls /usr/gd/可以查看解压后的文件

为jdk和hadoop创建软链接在/usr/gd目录下面

[root@gdy192ftpftp]# ln -s /usr/gd/jdk1.7.0_07/ /usr/gd/java

[root@gdy192ftpftp]# ln -s /usr/gd/hadoop-0.20.2-cdh3u4/ /usr/gd/hadoop

[root@gdy192ftpftp]# ll /usr/gd/

配置java和hadoop的环境变量

配置java的环境变量

[root@gdy192 /]#vim /etc/profile.d/java.sh

添加如下信息：

JAVA_HOME=/usr/gd/java

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOMEPATH

wq保存退出

配置hadoop的环境变量

[root@gdy192 /]#vim /etc/profile.d/hadoop.sh