CentOS 6.5安装Hadoop+HBase+ZooKeeper集群

CentOS 6.5安装Hadoop+HBase+ZooKeeper集群

一、环境说明
1.1、集群环境至少需要3个节点（3台服务器）：1个Master，2个Slave;
1.2、集群之间局域网连接，互相ping通；
1.3、下面举例说明，配置节点IP分配如下

---

HostName              IP             User         Password

---

master          192.168.20.106       hadoop        123456

---

slave1          192.168.20.107       hadoop        123456

---

slave2          192.168.20.108       hadoop        123456

---

三个节点均使用CentOS 6.5系统，为了方便维护，集群环境各配置项最好使用相同用户名、用户密码、相同hadoop、zookeeper、hbase目录结构。

1.4、创建用户命令：

sudo adduser hadoop
passwd hadoop

1.5、修改hostname命令：

vim /etc/sysconfig/network

二、准备工作
2.1、安装jdk
在三台机器上配置jdk环境
1）通过终端在/usr/local目录下新建java文件夹，命令：

mkdir java

2）解压压缩包，命令：

  tar xvf  jdk-8u91-linux-x64.tar

3）设置jdk环境变量，命令：

 vim /etc/profile

4）打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.8.0_91
export JRE_HOME=/usr/local/java/jdk1.8.0_91/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib: $CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

请记住，在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/ profile 时不能识别多余到空格，会理解为是路径一部分。

5）使profile生效，命令：

 source /etc/profile

6）检验是否安装成功：

 java -version

2.2、添加hosts映射关系
分别在三个节点上添加，命令：

vim /etc/hosts

添加内容：

192.168.20.106 master
192.168.20.107 slave1
192.168.20.108 slave2

2.3、配置集群间ssh无密码登录

集群环境的使用必须通过ssh无密码登录来执行，本机登录本机必须无密码登录，主机与从机之间必须可以双向无密码登录，从机与从机之间无限制。

2.3.1 设置master无密码自登陆

主要有三步：①生成公钥和私钥 ②导入公钥到认证文件 ③更改权限

切换到用户hadoop

su hadoop

生成秘钥

ssh-keygen -t rsa -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh && chmod 600 ~/.ssh/*

对于 slave1 和 slave2，进行无密码自登录设置，操作同上。

2.3.2 设置主机->从机的无密码登录（在master上执行）：

cat ~/.ssh/id_rsa.pub | ssh hadoop