Linux下scala与spark安装与配置

安装包

scala-2.11.12
提取码: yrrt
spark-2.4.5-bin-hadoop2.6
提取码: sn75

Scala安装与配置

新建一个文件夹存放安装包

mkdir software

将Scala安装包解压到/opt/下

tar zvxf scala-2.11.12.tgz -C /opt

将解压后的Scala文件夹改名成scala211

mv scala-2.11.12/ scala211

配置环境变量

vi /etc/profile

export SCALA_HOME=/opt/scala211
export PATH=$PATH:$SCALA_HOME/bin

使环境变量生效

source /etc/profile

若能查看版本号及安装成功

scala -version 

spark安装与配置

将spark安装包解压到/opt/下

 tar zvxf spark-2.4.5-bin-hadoop2.6.tgz -C /opt

将解压后的spark文件夹改名成scala211

mv spark-2.4.5-bin-hadoop2.6/ spark

配置环境变量

vi /etc/profile

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

使环境变量生效

source /etc/profile

进入spark/conf文件下，将spark-env.sh.template改名

cp spark-env.sh.template  spark-env.sh

配置spark-env.sh

export SCALA_HOME=/opt/scala211
export JAVA_HOME=/opt/java8
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=hadoop30
export SPARK_EXECUTOR_MEMORY=1G

最后启动spark

spark-shell