搭建Spark单机版集群

解压文件包

tar -zxvf /root/spark-3.4.2-bin-hadoop3.2.tgz -C /usr/local/src

进入Spark安装目录的/bin目录，使用SparkPi计算Pi的值

cd /usr/local/spark-3.4.2-bin-hadoop3.2/bin/

./run-example SparkPi 2

如果执行时输出非常多的运行日志信息，输出结果找不到，就使用grep命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）

./bin/run-example SparkPi 2>&1 | grep "Pi is"

搭建单机伪分布式集群

cd /usr/local/src/spark-3.4.2-bin-hadoop3.2/conf/

cp spark-env.sh.template spark-env.sh

准备好Java环境

检查是否能用

打开在spark文件下面打开spark-env.sh文件，在文件末尾添加代码：

vim spark-env.sh

export SCALA_HOME=/usr/local/srcscala
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/opt/module/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

进入spark/sbin 启动spark ./start-all.sh

cd /opt/module/spark/sbin
./start-all.sh
jps查看

查看spark

进入网页查看

输入IP进入网页浏览

192.168.128.134:50070

进入spark网页界面查看