linux系统上scala安装与spark的安装

一、Scala的安装

找到scala的官网

点击all releases找到所有的版本，选择自己要的 版本点进去

点进去后往下滑选择自己想要的系统下载

！！！以下内容前提是在完全分布式的虚拟机内

下载linux的版本然后将scala压缩包上传至虚拟机（安装包可以直接拖动到桌面式的linux）

解压缩scala：tar -zxvf scala-2.12.12.tgz -C /opt/

编辑环境变量vim /etc/profile

在文件最后一行插入以下内容

  export SCALA_HOME=/opt/scala-2.12.12

  export PATH=$PATH:${SCALA_HOME}/bin

退出并保存然后用下面命令重启使文件生效

source /etc/profile

验证scala安装是否成功极其版本，并启动，输入以下命令

scala -version

scala

二、Spark安装

解压缩spark

改名（为了方便可不改）

 cd /opt

 mv spark-3.1.1-bin-hadoop3.2/ spark

配置spark环境变量

 vim /etc/profile

export SPARK_HOME=/opt/spark

export PATH=$PATH:${SPARK_HOME}/bin

export PATH=$PATH:${SPARK_HOME}/sbin

用以下命令重启文件

source /etc/profile

进入spark/conf备份文件

cp spark-env.sh.template spark-env.sh

备份完后编辑该文件，将以下内容粘贴到最后

 vim spark-env.sh

export SCALA_HOME=/opt/scala-2.12.12

export JAVA_HOME=/opt/module/java

export SPARK_MASTER_IP=master

export SPARK_WOKER_CORES=2

export SPARK_WOKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/module/hadoop

#export SPARK_MASTER_WEBUI_PORT=8080

#export SPARK_MASTER_PORT=7070

备份文件

cp workers.template slaves

修改从节点ip

配置slaves文件

 vim /slaves

发送文件到从节点

scp -r /opt/spark/ slave1:/opt/

scp -r /opt/spark/ slave2:/opt/

然后分别配置两个从节点的环境

启动hadoop集群（三节点）

 cd /opt/mudule/Hadoop/sbin

 ./start-all.sh

启动spark集群（master上）

cd /opt/spark/sbin/

./start-all.sh

Jps查看启动master上有master，从节点上有worker

最后输入spark-shell查看是否安装成功