Spark和Scala环境安装与部署
一、下载安装包
(1)前往spark和scala官网下载安装包
scala:All Available Versions | The Scala Programming Language (scala-lang.org)
下载Scala2.12.12版本
spark:Apache Download Mirrors
(2)将安装包导入虚拟机使用xshell或拖拽,这里建议导到opt目录下
二、进行scala的安装配置
1.解压安装包
tar -zxvf /opt/scala-2.12.12.tgz -C /opt/
2.配置scala环境变量
vim /etc/profile
#SCALA
export SCALA_HOME=/opt/scala-2.12.12
export PATH=$PATH:${SCALA_HOME}/bin
图中SCALA_HOME是Scala的安装路径
3.然后source /etc/profile使环境变量生效,接着scala -version查看是否安装成功,出现画线版本号即为成功
三、进行spark安装配置
1.解压安装spark安装包
tar -zxvf / export/ software/ spark-3.1.1-bin-hadoop3.2.tgz
2.spark-1.1-bin-hadoop3.2文件名字太长,改名字为spark方便后续操作
mv spark-1.1-bin-hadoop3.2 spark
3.配置环境变量 vim /etc/profile
#SPARK
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin
这里 SPARK_HOME是spark的安装路径
4.source /etc/profile使环境生效
5.修改配置文件 进入spark里的conf目录备份文件
cd /opt/spark/conf
cp spark-env.sh.template spark-env.sh
6.修改配置文件 在spark下的conf目录打开env vim spark-env.sh
export SCALA_HOME=/opt/scala-2.12.12
export JAVA_HOME=/opt/module/java
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070
7.修改从节点ip
vi slaves 修改内容为slave1 slave2(我的子机分别为是slave1 slave2
8.分发文件
scp -r /opt/spark / slave1:/opt/
scp -r /opt/spark/ slave2:/opt/
9.分别在slave1 slave2上设置环境变量
#SPARK
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin
10启动集群:spark下sbin目录下:./start-all.sh
查看节点状态 在主节点master上出现Master 在s1上出现Worker在s2上出现Worker
master:
slave1
slave2
查看spark是否安装成功 返回主目录下输入Spark-shell
以上就是操作过程