Linux环境spark和Scala安装

spark安装包版本信息：

一、解压重命名
解压压缩包

tar -zxvf ./spark-2.4.5-bin-hadoop2.6.tgz -C ../bigdata/

tar -zxvf ./scala-2.11.12.tgz -C ../bigdata/

重命名

mv ./spark-2.4.5-bin-hadoop2.6/ spark245
mv ./scala-2.11.12/ scala211

二、配置环境变量
打开配置文件

vi /etc/profile

配置路径

export SPARK_HOME=/opt/bigdata/spark245
export PATH=$PATH:$SPARK_HOME/bin
export SCALA_HOME=/opt/bigdata/scala211
export PATH=$PATH:$SCALA_HOME/bin

激活配置文件

source /etc/profile

三、修改spark配置文件
打开spark文件conf目录

cd /opt/bigdata/spark245/conf/

拷贝spark-env文件，并打开

cp ./spark-env.sh.template spark-env.sh
vi ./spark-env.sh

配置相关路径及参数内容

export JAVA_HOME=/opt/bigdata/jdk180
export SCALA_HOME=/opt/bigdata/scala211
export SPARK_HOME=/opt/bigdata/spark245
export SPARK_MASTER_IP=vm6		#本机IP/hostname
export SPARK_EXECUTOR_MEMORY=1G		#执行使用内存

如有集群，修改slave文件，添加集群主机名或IP
四、spark环境下运行Scala
运行Scala语言测试是否成功

spark-shell

成功：