1.环境介绍
(1)操作系统RHEL6.2-64
(2)两个节点:spark1(192.168.232.147),spark2(192.168.232.152)
(3)两个节点上都装好了Hadoop 2.2集群
2.安装Zookeeper
(1)下载Zookeeper: http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz
(2)解压到/root/install/目录下
(3)创建两个目录,一个是数据目录,一个日志目录
(4)配置:进到conf目录下,把zoo_sample.cfg修改成zoo.cfg(这一步是必须的,否则zookeeper不认识zoo_sample.cfg),并添加如下内容
(5)在/root/install/zookeeper-3.4.5/data目录下创建myid文件,并在里面写1
(6)把/root/install/zookeeper-3.4.5整个目录复制到其他节点
(7)登录到spark2节点,修改myid文件里的值,将其修改为2
(8)在spark1,spark2两个节点上分别启动zookeeper
(9)查看进程进否成在
3.配置Spark的HA
(1)进到spark的配置目录,在spark-env.sh修改如下
(2)把这个配置文件分发到各个节点上去
(3)启动spark集群
(4)进到spark2(192.168.232.152)节点,把start-master.sh 启动,当spark1(192.168.232.147)挂掉时,spark2顶替当master
(5)查看spark1和spark2上运行的哪些进程
4.测试HA是否生效
(1)先查看一下两个节点的运行情况,现在spark1运行了master,spark2是待命状态
(2)在spark1上把master服务停掉
(3)用浏览器访问master的8080端口,看是否还活着。以下可以看出,master已经挂掉
(4)再用浏览器访问查看spark2的状态,从下图看出,spark2已经被切换当master了
(1)操作系统RHEL6.2-64
(2)两个节点:spark1(192.168.232.147),spark2(192.168.232.152)
(3)两个节点上都装好了Hadoop 2.2集群
2.安装Zookeeper
(1)下载Zookeeper: http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz
(2)解压到/root/install/目录下
(3)创建两个目录,一个是数据目录,一个日志目录
(4)配置:进到conf目录下,把zoo_sample.cfg修改成zoo.cfg(这一步是必须的,否则zookeeper不认识zoo_sample.cfg),并添加如下内容
(5)在/root/install/zookeeper-3.4.5/data目录下创建myid文件,并在里面写1
(6)把/root/install/zookeeper-3.4.5整个目录复制到其他节点
(7)登录到spark2节点,修改myid文件里的值,将其修改为2
(8)在spark1,spark2两个节点上分别启动zookeeper
(9)查看进程进否成在
3.配置Spark的HA
(1)进到spark的配置目录,在spark-env.sh修改如下
(2)把这个配置文件分发到各个节点上去
(3)启动spark集群
(4)进到spark2(192.168.232.152)节点,把start-master.sh 启动,当spark1(192.168.232.147)挂掉时,spark2顶替当master
(5)查看spark1和spark2上运行的哪些进程
4.测试HA是否生效
(1)先查看一下两个节点的运行情况,现在spark1运行了master,spark2是待命状态
(2)在spark1上把master服务停掉
(3)用浏览器访问master的8080端口,看是否还活着。以下可以看出,master已经挂掉
(4)再用浏览器访问查看spark2的状态,从下图看出,spark2已经被切换当master了