Spark集群的搭建

Spark集群的搭建

一.scala安装

#下载scala
wget https://downloads.lightbend.com/scala/2.12.4/scala-2.12.4.tgz
#解压
tar -zxvf scala-2.12.4.tgz -C /......
#添加环境变量
vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.12.4
#生效环境变量
source /etc/profile

二.spark安装配置

#下载spark包并安装
#进入spark conf目录
cd usr/local/spark-2.2.0-bin-2.6.0-cdh5.7.0/conf/

#更改俩个文件名字
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

#编辑slaves
vim slaves
#添加从服务器名称（服务器没与ip映射的话写ip）
fllower1
fllower2

#编辑spark-env.sh
vim spark-env.sh
#添加路径
export JAVA_HOME=/usr/local/jdk1.8.0_201
#jdk路径
export SCALA_HOME=/usr/local/scala-2.12.4
#scala路径
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
#hadoop路径
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
#hadoop配置路径
export SPARK_MASTER_HOST=hadoop
#master的主机名
export SPARK_WORKER_MEMORY=1g
#每个worker节点能够最大分配给exectors的内存大小
export SPARK_WORKER_CORES=2
#每个worker节点所占有的CPU核数目
export SPARK_WORKER_INSTANCES=1
#每台机器上开启的worker节点的数目
export SPARK_HOME=/usr/local/spark-2.2.0-bin-2.6.0-cdh5.7.0
#spark的路径
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop-2.6.0-cdh5.7.0/bin/hadoop classpath)

#将配置好的spark复制给从服务器
scp -r  /usr/local/spark/ fllower1:$PWD   
scp -r  /usr/local/spark/ fllower2:$PWD

三.启动spark

#进入spark sbin目录下
 cd spark-2.2.0-bin-2.6.0-cdh5.7.0/sbin/
 ./start-all.sh
#jps查看主服务器为Master,从服务器为Worker.
#登录浏览器查看（主服务器ip）
192.168.253.100：8080