spark-4-spark集群安装

1 资源准备

(1)linux系统：centos7.6
(2)java环境jdk安装包：jdk-8u144-linux-x64.tar.gz
官网下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
(3)scala环境安装包：scala-2.11.11.tgz
官网下载地址：
https://www.scala-lang.org/download/
【可以不用安装】
(4)spark安装包：spark-2.3.3-bin-hadoop2.7.tgz
官网下载地址：
http://spark.apache.org/downloads.html

2 安装步骤

2.1 jdk安装

cd /usr 
#上传jdk安装包jdk-8u144-linux-x64.tar.gz 
rz
#解压 
tar -xzvf jdk-8u144-linux-x64.tar.gz 
#配置环境变量 
vi ~/.bashrc 
#添加如下环境 
export JAVA_HOME=/usr/jdk1.8.0_144 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH 
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export PATH=${JAVA_HOME}/bin:$PATH 
#更新使生效 
source ~/.bashrc 
#测试是否成功 
java -version

2.2 scala安装

#cd /usr 
#上传安装包scala-2.11.11.tgz 
rz
#解压scala到安装目录 
tar -zvxf scala-2.11.11.tgz 
#配置环境变量 
vi ~/.bashrc
#添加如下环境 
export SCALA_HOME=/usr/scala-2.11.11/ 
export PATH=${SCALA_HOME}/bin:$PATH 
#更新使生效 
source ~/.bashrc 
#测试是否成功 
scala 
#退出scala 
:quit

2.3 spark安装

#cd /usr 
#上传安装包spark-2.3.3-bin-hadoop2.7.tgz 
rz
#解压spark到安装目录 
tar -zvxf spark-2.3.3-bin-hadoop2.7.tgz 
#配置环境变量 
vi ~/.bashrc 
#添加如下环境 
export SPARK_HOME=/usr/spark-2.3.3-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin #更新使生效 
source ~/.bashrc 
#修改SPARK master配置文件 
cd $SPARK_HOME/conf 
cp spark-env.sh.template spark-env.sh 
vi spark-env.sh 
#添加一下变量
export JAVA_HOME=/usr/jdk1.8.0_144 
export SCALA_HOME=/usr/scala-2.11.11 
export SPARK_HOME=/usr/spark-2.3.3-bin-hadoop2.7 
export SPARK_MASTER_HOST=192.168.3.30 
export SPARK_EXECUTOR_MEMORY=1G 
#修改SPARK slaves配置文件 
cp slaves.template slaves 
vi slaves 
#将localhost根据具体需求修改成如下名称 
spark01

2.4 spark启动

cd $SPARK_HOME 
#启动master节点 【只在主节点操作】
./sbin/start-master.sh 
#可以通过http://192.168.3.30:8080/访问web UI 
#启动slave节点 【分别在需要加入的节点操作】
./sbin/start-slave.sh spark://192.168.3.30:7077