Spark的部署模式

Spark的部署模式

本地模式（Local）

一般在本地用做测试，测试代码的逻辑是否正确

参数：–master local

本地模式，只启动一个Driver进程，没有Executor进程的，所有Task都运行在Driver进程中

集群模式 （Cluster）

在Linux系统中使用spark-submit命令指定运行的文件
一般用于生产环境

参数：–master 架构名称

• 支持四种集群架构：Standalone、Yarn（常用）、Mesos和K8s

• 分布式模式，一定会有1个Driver进程和多个Executor进程

Driver和Executor

Driver进程：驱动进程，任何一个Spark程序在任何一种模式都肯定会有

• 作用：负责申请这个程序的资源，解析、调度分配、监控整个程序中所有Task的运行

Executor进程：执行进程，由Driver申请启动Executor运行在从节点上

• 作用：负责运行Driver分配的所有Task任务