spark集群完全分布式搭建

1.spark的运行架构（主从模式）

主节点：master-----资源管理调度和任务的分配---------类似yarn

从节点：worker-----执行具体的计算任务

整体运行架构：

• 编写spark运行程序
• 用户将应用程序提交给spark集群
• 驱动其会创建对应的编程入口（sparkcontext/sparksession）
• 主节点复制资源管理调度和任务分配
•  从节点执行计算任务（多个计算任务：每个计算任务会分配一个执行器）
• 返回驱动器

1.配置spark-env.sh(cd /opt/module/spark-3.5.0/conf/)

export JAVA_HAME=$JAVA_HOME
 #添加hadoop环境变量
export HADOOP_HOME=$HADOOP_HOME
 # 添加hadoop文件所在的路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#设置spark集群de主节点的IP或主机名
export SPARK_MASTER_IP=192.168.205.129
#设置spark集群主节点进程部署的端口号
export SPARK_MASTER_PORT=7077
# 设置spark的worker节点的内存
export SPARK_WORKER_MEMORY=1g
#设置spark集群worker节点的内核数
export SPARK_WORKER_CORES=2
#设置spark集群的执行器内存
export SPARK_EXECUTOR_MEMORY=1G
##设置spark集群的执行器的内核数
export SPARK_EXECUTOR_CORES=2

主节点IP，主机名端口号必须配置 

2.配置 workers（删除localhost）

master
slave1
slave2

 3.向slave1和slave2穿spark文件

scp -r spark-3.5.0 slave1:/opt/module/
scp -r spark-3.5.0 slave2:/opt/module/

 4.配置spark-defaults.conf（在UI界面下建立目录spark-logs）

Example:
spark.master                     spark://master:7077
#启用日志记录功能
spark.eventLog.enabled           true
#日志存放目录
spark.eventLog.dir               hdfs://master:8020/spark-logs
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              5g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

5.启动spark

start-master.sh
start-workers.sh

如果无法开启可是尝试绝对路径

6.启动单机模式

spark-shell