在hadoop2.2.0集群搭建(一)中要求了做基础配置,但是这里为了没有涉及过集群配置的同学再详细说明下
一、安装前准备
首先配置一台主机,然后再克隆其他五台机器。
环境:centos+java1.6+hadoop2.2.0+zookeeper-3.4.5
java下载地址:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html
hadoop2.2.0下载地址: http://archive.apache.org/dist/hadoop/core/
zookeeper-3.4.5下载地址:http://archive.apache.org/dist/hadoop/zookeeper/
机器及进程部署运行请参照hadoop2.2.0集群搭建(一)
下面的所有配置都在机器hadoop1上进行
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系,这里为了后续配置方便,我把集群所有机器的IP和主机名映射一次配置,以后就不用再配置,克隆后整个集群都可以通过主机名访问。
特别强调!!!如果公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
#禁止防火墙开机启动
chkconfig iptables off
#关闭防火墙
service iptables stop
#检查防火墙状态
serivce iptables status
或者
chkconfig iptalbes --list
5.安装JDK,配置环境变量
5.1上传
5.2解压jdk
#创建文件夹
mkdir /usr/cloud/java
#解压
tar -zxvf jdk-6u24-linux-i586.bin -C /usr/cloud/java/
5.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/cloud/java/jdk1.6.0_24
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
6. 重启机器hadoop1。
7 从hadoop1克隆出hadoop2到hadoop6,然后启动六台机器。
8. 修改每台机器的ip,主机名(参照前面命令)。
二、免密码登录配置
<span style="font-size:12px;">#首先要配置hadoop1到hadoop2、hadoop3、hadoop4、hadoop5、hadoop6的免密码登陆
#在hadoop1上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点,包括自己
ssh-coyp-id hadoop1
ssh-coyp-id hadoop2
ssh-coyp-id hadoop3
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
ssh-coyp-id hadoop6
#配置hadoop3到hadoop4、hadoop5、hadoop6的免密码登陆
#在hadoop3上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
</span><pre name="code" class="html"><span style="font-size:12px;"> ssh-coyp-id hadoop3</span>
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
ssh-coyp-id hadoop6
#注意:两个namenode之间要配置ssh免密码登陆,别忘了配置hadoop2到hadoop1的免登陆
在hadoop2上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop2
ssh-coyp-id -i hadoop1