Spark集群部署2.X

 

Spark部署

 

 

原理

 

Spark本身是Master/Slaves结构的，有一个中心节点（Master），Master负责Spark集群的资源调度和分配。其余的是Worker。Worker管理单个节点上的资源状况。这里说的资源主要指CPU、内存，当然也包括disk IO,网络IO等。在生产环境下，由于Spark集群是Master/Slaves结构的，所以一定存在单点故障。就是说Master易出现故障。

如果Master出现故障集群将无法继续服务，这是无法接受的。所以生产环境下，都是使用zookeeper做keeplived高可用。

 

部署情况：

 

192.168.200.243 nobida243 主节点

192.168.200.244 nobida244 从节点

部署位置：/opt

 

1、jdk-1.7安装

 

Nobida243操作：yum remove java-*

tar -zxvf jdk-7u55-linux-x64.gz #安装jdk包

export JAVA_HOME=/opt/jdk1.7.0_55 #环境变量添加

export PATH=$JAVA_HOME/bin:$PATH #执行变量

source /etc/profile #配置立即生效 

[root@nobida243 jdk]# java -version

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(