1)本地模式
1.1)下载安装包至MasterNode,并解压缩。
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz
1.2) 修改~/.bash_profile文件,然后启动Spark
export Spark_home=/home/user/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$Spark_home/bin:$Spark_home/sbin
2)Standalone模式
2.1)修改配置文件/conf/workers,使其包含以下内容。
2.2)修改配置文件/conf/spark-env.sh,使其包含以下内容。
JAVA_HOME=/home/user/jdk1.8.0_202
HADOOP_CONF_DIR=/home/user/hadoop-3.2.2/etc/hadoop/
YARN_CONF_DIR=/home/user/hadoop-3.2.2/etc/hadoop/
SPARK_MASTER_HOST=192.168.1.66
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=16161
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
2.3)将配置好的Spark包分发到Slave1节点和Slave2节点。然后启动集群。
scp -r /home/user/spark-3.1.2-bin-hadoop3.2 user@192.168.1.88:/home/user/spark-3.1.2-bin-hadoop3.2
scp -r /home/user/spark-3.1.2-bin-hadoop3.2 user@192.168.1.99:/home/user/spark-3.1.2-bin-hadoop3.2
scp -r /home/user/.bash_profile user@192.168.1.88:/home/user/.bash_profile
scp -r /home/user/.bash_profile us