一、环境说明
集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下:
Hostname | IP | User | Password |
---|---|---|---|
master | 192.168.59.133 | hadoop | 123456 |
slave1 | 192.168.59.134 | hadoop | 123456 |
slave2 | 192.168.59.135 | hadoop | 123456 |
三个节点均使用CentOS 6.5
系统,为了便于维护,集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。
注:可以通过编辑/etc/sysconfig/network
文件来修改 hostname 。
二、准备工作
2.1 安装JDK
在三台机器上配置JDK环境,下载 jdk-8u51-linux-x64.rpm
文件直接安装:
$ rpm -ivh jdk-8u51-linux-x64.rpm
修改配置文件 vim /etc/profile
:
export JAVA_HOME=/usr/java/jdk1.8.0_51
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
然后重新加载配置文件使之生效:
$ source /etc/profile
2.2 添加Hosts映射关系
分别在三个节点上添加hosts映射关系:
$ vim /etc/hosts
添加的内容如下:
192.168.59.133 master
192.168.59.134 slave1
192.168.59.135 slave2
2.3 集群之间SSH无密码登陆
CentOS默认安装了ssh,如果没有你需要先安装ssh 。
集群环境的使用必须通过ssh无密码登陆来执行,本机登陆本机必须无密码登陆,主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制。
2.3.1 设置master无密码自登陆
主要有三步:①生成公钥和私钥、②导入公钥到认证文件、③更改权限
$ ssh-keygen -t rsa -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 700 ~/.ssh && chmod 600 ~/.ssh/*
测试,第一次登录可能需要yes确认,之后就可以直接登录了:
$ ssh localhost
Last login: Sat Jul 18 22:57:44 2015 from localhost
对于 slave1 和 slave2,进行无密码自登陆设置,操作同上。
2.3.2 设置主机->从机的无密码登录
$ cat ~/.ssh/id_rsa.pub | ssh hadoop@slave1 'cat - >> ~/.ssh/authorized_keys'
$ cat ~/.ssh/id_rsa.pub | ssh hadoop@slave2 'cat - >> ~/.ssh/authorized_keys'
测试:
[hadoop@master ~]$ ssh hadoop@slave1
Last login: Sat