11.03 scala和spark 的下载安装

下载和安装scala，spark

scala-2.11.12 下载链接: https://pan.baidu.com/s/1mtjTemoCbQXrGfX5eQbG5A
提取码: icfd
spark-2.4.5-bin-hadoop2.6 下载链接: https://pan.baidu.com/s/1L9s2jysV0jm28XsJDS4kcw
提取码: 3c7v
上传scala和spark安装文件到linux中的software中
解压scala-2.11.12.tgz和spark-2.4.5-bin-hadoop2.6.tgz：

tar -zxf scala-2.11.12.tgz -C /opt
tar -zxf spark-2.4.5-bin-hadoop2.6.tgz -C /opt

进入opt目录下对文件夹进行重命名

mv scala-2.11.12/  scala211
mv spark-2.4.5-bin-hadoop2.6/   spark245

配置scala和spark的环境变量：

vi /etc/profile

添加SCALA_HOME和SPARK_HOME，并配置bin目录到PATH中

export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export PATH=$PATH:$SCALA_HOME/bin
export PATH=$PATH:$SPARK_HOME/bin

保存并退出
source环境变量

source /etc/profile

验证环境变量是否配置成功
在命令行如scala和spark进入scala和spark命令行则表示配置成功
进入spark下的conf文件夹
修改spark的配置：

cp spark-env.sh.template  spark-env.sh
cp slaves.template  slaves

修改spark-env.sh的配置，在最后加上相关配置：

export JAVA_HOME=/opt/java8
export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export SPARK_MASTER_IP=hadoop
export SPARK_EXECUTOR_MEMORY=1G