spark的安装

1.解压缩

tar -zxf spark-2.4.8-bin-hadoop2.6.tgz  -C /usr/

改名字

cd /usr
mv spark-2.4.8-bin-hadoop2.6/ spark

2.修改配置文件

进入spark安装目录下conf目录中
复制模板

cp slaves.template slaves
cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh

vi slaves

删除原有内容。写入

slave1
slave2

vi spark-defaults.conf

添加

spark.master spark://master:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/spark-logs
spark.history.fs.logDirectory hdfs://master:8020/spark-logs

vi spark-env.sh

添加

JAVA_HOME=/usr/jdk
HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
SPARK_MASTER_IP=master
SPARK_MASTER_PORT=7077
SPARK_WORKER_MEMORY=512m
SPARK_WORKER_CORES=1
SPARK_EXECUTOR_MEMORY=512m
SPARK_EXECUTOR_CORES=1
SPARK_WORKER_INSTANCES=1

环境变量

vi /etc/profile

#spark
export SPARK_HOME=/usr/spark
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

3. 在 HDFS 中新建目录

hadoop fs -mkdir /spark-logs

4. 分发文件

spark

scp -r /usr/spark   slave1:/usr/
scp -r /usr/spark   slave2:/usr/

环境变量

scp /etc/profile slave1:/etc
scp /etc/profile slave2:/etc

source /etc/profile

5.启动

cd /usr/spark/sbin
./start-all.sh

6.查看

jps

master:Master
slave:Worker

web

192.168.26.148:8080