安装Spark
1、上传并解压,解压后创建一个软连接
(1)解压
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
(2)创建软连接
ln -s spark-2.1.0-bin-hadoop2.7 spark
完成后如图
2、将spark中conf下的spark-env.sh.template重命名为spark-env.sh,并在其中加入如下代码
export JAVA_HOME= (安装jdk的目录)
export SPARK_MASTER_HOST= (主机名)
export SPARK_MASTER_PORT=7077
3、将以下环境变量的配置添加到etc下的profile中
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
4、生效配置文件
source /etc/profile
5、修改从节点文件
(1)复制slaves.template将复制完成的文件命名为slave
cp slaves.template slaves
(2)在slaves最下方加入主机名
6、在spark下的sbin目录下测试运行
出现Master和Worker为正确