Spark单机配置（linux版）

scala安装

本文中所有软件都以单机模式配置，提供测试学习使用

一、软件解压

cd /usr/local/soft/

1. 下载压缩包

https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz

2. 解压

​ tar -zxvf scala-2.13.1.tgz

3. 重命名

   mv scala-2.13.1 scala

二、配置环境变量

*export SCALA_HOME=/usr/local/soft/scala*

*export PATH=$PATH:$SCALA_HOME/bin*

三、验证

scala -version

Spark安装

一、解压

cd /usr/local/soft/

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

二、添加环境变量

*export SPARK_HOME=/usr/local/soft/spark-2.1.0-bin-hadoop2.7*

*export PATH=$PATH:$SPARK_HOME/bin*

三、修改启动变量文件

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/conf/

vim spark-env.sh

*export JAVA_HOME=/usr/local/soft/jdk1.8.0_11*

*export SCALA_HOME=/usr/local/soft/scala-2.11.8*

*export SPARK_MASTER_IP=localhost*

*export SPARK_WORKER_MEMORY=1G*

四、启动Spark

cd /usr/local/soft/spark-2.1.0-bin-hadoop2.7/

sbin/start-all.sh

五、验证

jps