spark安装步骤

一 安装scala

 

 

1 解压下载的scala文件：

 

tar -zxvf scala-2.12.5.tgz

 

 

2 配置profile环境：

 

sudo vi /etc/profile

设置为本地自己scala的路径：

export SCALA_HOME=/app/software/scala-2.12.5

export PATH=$PATH:$SCALA_HOME/bin

使设置的环境变量生效：

source /etc/profile

二 安装spark

解压下载的spark文件：

 

 

tar -zxvf spark-2.3.0-bin-hadoop2.7

 

打开配置文件：

 

 

vi /etc/profile

 

配置自己设备上spark的路径：

export SPARK_HOME = /app/software/spark-2.3.0-bin-hadoop2.7

 

 

export PATH=$PATH:$SPARK_HOME/bin

 

 

 

使设置的环境变量生效：

source /etc/profile

 

复制下面两个文件夹：

cp  spark-env.sh.template  spark-env.sh

cp slaves.template slaves

 

设置spark的环境：

Vim slaves

slave1（这里如果是主，那就写为master）

vim spark-env.sh

export JAVA_HOME=/app/software/jdk1.8.0_151

export SCALA_HOME=/app/software/scala-2.12.5

export SPARK_WORKER_MEMORY=512m

export HADOOP_CONF_DIR=/app/hadoop/hadoop-2.7.5

 

启动spark：

./start-all.sh

 

 

三 遇到的问题

文件夹权限问题，解决办法：

 

chmod -R 777 /app/software/spark-2.3.0-bin-hadoop2.7

 

最后，启动spark：

./stop-all.sh