Spark2.0.0安装部署及前置Scala安装

Spark2.0.0安装部署及前置Scala安装

前置Scala安装部署

解压安装

解压

# tar zxf scala-2.11.8.tgz

重命名

# mv scala-2.11.8 scala

配置环境变量

# vi ~/.bashrc

在文件末尾添加

export SCALA_HOME=/opt/apps/scala
export PATH=$SCALA_HOME/bin:$PATH

spark安装部署

解压安装

解压

# tar zxf spark-2.0.0-bin-hadoop2.6.tgz

重命名

mv spark-2.0.0-bin-hadoop2.6 spark

配置环境变量

# vi ~/.bashrc

在文件末尾添加

export SPARK_HOME=/opt/apps/spark
export PATH=$SPARK_HOME/bin:$PATH

修改配置文件spark-env.sh

# cd spark/conf/
# cp spark-env.sh.template spark-env.sh
# vi spark-env.sh

在文件末尾添加

export SCALA_H