Scala和Spark安装及环境配置
一.Scala安装及环境配置
#1.解压scala安装包
tar -zxvf scala-2.11.12.tgz -C /opt
mv scala-2.11.12 scala#改名
#2.配置环境变量
cd /opt
vi /etc/profile
export SCALA_HOME=/opt/scala
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile
#3.检查是否安装成功
scala -varsion
二.Spark安装及环境配置
1.安装
#解压
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt
#改名
mv spark-2.4.5-bin-hadoop2.6.tgz spark
2.环境配置
cd /opt
vi /etc/profile
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
source /etc/profile
3.修改配置文件
cd /opt/spark/conf/
#1.修改配置文件spark-env.sh
#根据spark-env.sh.template配置文件拷贝一份并修改其文件名为spark-env.sh
cp spark-env.sh.template spark-env.sh
#添加以下配置内容
vi spark-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221
export SCALA_HOME/opt/scala