安装Spark详细流程

安装Spark

1、上传并解压，解压后创建一个软连接
（1）解压

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

（2）创建软连接

ln -s spark-2.1.0-bin-hadoop2.7 spark

完成后如图

2、将spark中conf下的spark-env.sh.template重命名为spark-env.sh，并在其中加入如下代码

export JAVA_HOME=   （安装jdk的目录）
export SPARK_MASTER_HOST=    （主机名）
export SPARK_MASTER_PORT=7077

3、将以下环境变量的配置添加到etc下的profile中

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

4、生效配置文件

source /etc/profile

5、修改从节点文件
（1）复制slaves.template将复制完成的文件命名为slave

cp slaves.template slaves

（2）在slaves最下方加入主机名
6、在spark下的sbin目录下测试运行
出现Master和Worker为正确