Spark集群搭建

---

下载文件

---

官网链接（时常打不开）

链接: https://pan.baidu.com/s/1VUc2ps_2jFF5N6qWse-S-A 提取码: 83ee

---

解压，配置

---

# 解压
tar -zxvf 文件名

配置 ./conf/spark-env.sh 和 slaves

** cp spark-env.sh.template spark-env.sh

**添加以下内容：

export JAVA_HOME=/root/software/jdk1.8
export SCALA_HOME=/root/software/scala-2.11.8
export HADOOP_HOME=/root/software/hadoop-2.7.7

export STANDALONE_SPARK_MASTER_HOST=master
export SPARK_MASTER_IP=$STANDALONE_SPARK_MASTER_HOST

### Let's run everything with JVM runtime, instead of Scala
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib
export SPARK_MASTER_WEBUI_PORT=18080
#export SPARK_MASTER_PORT=7077
#export SPARK_WORKER_PORT=7078
#export SPARK_WORKER_WEBUI_PORT=18081（使用18080是因为8080经常被占用）
#export SPARK_WORKER_DIR=/var/run/spark/work
#export SPARK_LOG_DIR=/var/log/spark
#export SPARK_PID_DIR='/var/run/spark/'

if [ -n "$HADOOP_HOME" ]; then
  export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:${HADOOP_HOME}/lib/native
fi

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}

vi slaves
# 添加节点

配置环境变量：vim /etc/profile
添加：

export SPARK_HOME=/root/software/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
# source /etc/profile 使环境变量立即生效

---

分发，测试

---

scp -r 文件名 slave1:/root/software
scp -r 文件名 slave2:/root/software

切换到{$spark_home}/sbin目录下
可以看到有很多脚本

./start-all.sh   #启动
./stop-all.sh    #关闭

使用jps检查
**可以看到有master, worker
使用 web 检查（一定是18080端口， 因为改修过配置文件）