首先下载和hadoop同样版本的spark
然后进行解压
进行环境变量的配置:
source 使之生效:
进行spark-env.sh 的配置:
进入到conf中,没有spark-env.sh的进行复制下面的那个模板
cp -r /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh.template /home/tools/spark-2.2.0-bin-hadoop2.6/conf/spark-env.sh
export JAVA_HOME=/home/tools/jdk1.8.0_202
export SPARK_MASTER_HOST=192.168.191.216
export SPARK_MASTER_PORT=7077
export SPARK_HOME=/home/tools/spark-2.2.0-bin-hadoop2.6
export HADOOP_CONF_DIR=/home/tools/hadoop-2.6.4/etc/hadoop
运行spark-shell
启动spark
在sbin下启动./start-all.sh
查看启动状态:
一共7个
进入Spark管理页面:
http://IP:8080
完成