hadoop的伪分布式模式配置与安装
上次对hadoop单机模式中已经介绍了hadoop的基本安装,本次将讲解hadoop的伪分布式模式进行对hadoop的基本模拟部署。
安装软件:
系统:Linux 2.6.32-358.el6.x86_64
JDK:jdk-7u7-linux-i586.tar.gz
Hadoop版本:hadoop-0.20.2-cdh3u4.tar.gz
硬件环境:
三台主机:分别为
gdy192 192.168.61.192
gdy194 192.168.61.194
gdy195 192.168.61.195
本次部署模型为:
gdy192上部署:NameNode和JobTracker
gdy194上部署:SecondaryNameNode
gdy195上部署:DateNode TaskTracker
首先配置三台主机的hosts文件,以便之后不用ip而直接用别名进行相互访问
首先在gdy192上配置一份信息。
[root@gdy192 /]#vim /etc/hosts
wq保存退出
将已经配置好的文件分别拷贝一份到其他两台主机上
拷贝文件到gdy194上
[root@gdy192 ~]#scp /etc/hosts root@gdy194:/etc/
输入gdy194的root密码
拷贝成功。
去gdy194上查看/etc/hosts验证是否是叫我们刚才修改的文件
[root@gdy194 /]#cat /etc/hosts
可以看到拷贝成功。
同样再次拷贝一份到gdy195
在gdy192上输入:
[root@gdy192 ~]#scp /etc/hosts root@gdy195:/etc/
这里就不验证了。
在gdy192上创建jDK和Hadoop的安装目录gd
[root@gdy192 /]#mkdir /usr/gd/ -pv
在gdy194上创建JDK和Hadoop的安装目录gd
在gdy195上创建JDK和Hadoop的安装目录gd
分别在gdy192,gdy194,gdy195上创建hduser用户并设置密码
在gdy192上
[root@gdy192 /]#useradd hduser
[root@gdy192 /]#passwd hduser
在gdy194上
[root@gdy194 /]#useradd hduser
[root@gdy194 /]#passwd hduser
在gdy195上
[root@gdy195 /]#useradd hduser
[root@gdy195 /]#passwd hduser
将之前准备好的软件包拷贝到gdy192上,
如下图是我已经拷贝好的文件
将这两个文件解压到之前创建的目录/usr/gd/下面
[root@gdy192ftpftp]# tar -xf jdk-7u7-linux-i586.tar.gz -C /usr/gd/
[root@gdy192ftpftp]# tar -xf hadoop-0.20.2-cdh3u4.tar.gz -C /usr/gd/
使用ls /usr/gd/可以查看解压后的文件
为jdk和hadoop创建软链接在/usr/gd目录下面
[root@gdy192ftpftp]# ln -s /usr/gd/jdk1.7.0_07/ /usr/gd/java
[root@gdy192ftpftp]# ln -s /usr/gd/hadoop-0.20.2-cdh3u4/ /usr/gd/hadoop
[root@gdy192ftpftp]# ll /usr/gd/
配置java和hadoop的环境变量
配置java的环境变量
[root@gdy192 /]#vim /etc/profile.d/java.sh
添加如下信息:
JAVA_HOME=/usr/gd/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOMEPATH
wq保存退出
配置hadoop的环境变量
[root@gdy192 /]#vim /etc/profile.d/hadoop.sh