Spark安装

1.虚拟机配置

主机名	配置
node1	3G,20G
node2	2G,20G
node3	2G,20G

2.版本信息

组件名称	版本
JDK	jdk1.8.0_181
Hadoop	hadoop-2.7.1
Spark	spark-2.4.0
Scala	scala-2.11.0

3.安装过程

（1）Scala下载与安装：https://www.scala-lang.org/download/

  第一步：解压压缩包到指定目录

tar -zxf scala-2.11.0.tgz

  第二步： 修改环境变量

vim ~/.bashrc

export SCALA_HOME="/root/apps/scala-2.11.0"

source ~/.bashrc

  第三步：将这台主机上的scala分发到其他节点

scp -r /root/apps/scala-2.11.0 root@node2://root/apps/

scp -r /root/apps/scala-2.11.0 root@node3://root/apps/

（2）Spark下载与安装：http://spark.apache.org/downloads.html

  第一步：解压压缩包到指定目录

tar -zxf spark-2.4.0-bin-hadoop2.7.tgz

  第二步：修改环境变量

vim ~/.bashrc

export SPARK_HOME="/root/apps/spark-2.4.0-bin-hadoop2.7"
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

source ~/.bashrc

  第三步：配置Spark

 进入Spark的conf目录并配置：

接下来配置slaves文件，把worker节点都添加进去：

 

然后将配置文件发送到其他节点。

4.启动并查看集群状况

 start-all.sh

 

 

配置成功！