Spark部署模式介绍

最新推荐文章于 2024-08-12 23:51:20 发布

原创

最新推荐文章于 2024-08-12 23:51:20 发布 · 751 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #java #linux #大数据 #spark

本文详细介绍了Spark的五种部署模式：Local模式适合开发测试，Local-Cluster用于代码调试，Standalone模式为独立集群，YARN提供集群资源管理，包括yarn-cluster和yarn-client两种模式，Mesos则提供了粗粒度和细粒度两种调度模式。每种模式的特点和应用场景都有所不同，帮助读者理解Spark的部署策略。

一、Local

Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。在 shell 中有如下几种参数配置：

local：只启动一个工作线程；
local[k]：启动 k 个工作线程；
local[*]：启动跟 cpu 数目相同的工作线程数。

二、Local-Cluster

Local-Cluster 为本地集群模式，类似于 hadoop 的伪分布式，其主要用于代码调试和测试，是源码学习常用的模式。不具备容错能力，不能用于生产环境。Driver、Master 与 Worker 运行在同一个 JVM 进程中。每个 Worker 可启动多个 Executor，每个 Executor 都是一个 JVM 进程。

三、Standalone

这是 spark 最常见的集群模式，即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。Driver 在集群之外，可以是任意的客户端程序。Master 部署于单独的进程，一般在单独的机器上，可以有多个，但只能有一个处于激活状态(借助 Zookeeper 可以搭建高可用的 spark 集群)。Worker 部署于单独的进程，一般在单独的机器上部署。