spark之12:集群模式概述
@(SPARK)[spark, 大数据]
英文原文地址:https://spark.apache.org/docs/latest/cluster-overview.html
集群模式概述
本文档简单介绍了spark如何在集群中运行,它使得你更容易理解spark相关的组件。关于如何在一个集群中运行spark,请参考application submission guide 。
组件
spark应用以多个进程的形式运行于一个集群中,它使用你所定义的主程序(或者叫驱动程序)中的SparkContext这个对象来协调。当运行于集群时,SparkContext可以运行于多种的集群管理器中(包括spark自带的standalone集群,以及mesos和yarn),它们都被用于在不同的应用间分配资源。当spark应用连接到了集群管理器后,(1)首先它将从集群中的节点获取执行器(executor),这些执行器就是用来运行计算或者存储数据的进程(2)然后,spark会将你的应用代码(jar包或者python文件)发送给执行器(3)最后,SparkContext将具体的任务(task)发送给执行器运行。
关于上面的架构,有几点需要注意的:
1、每一个应用都拥有它自己独立的执行器进程(executor processes),这些进程在应用的整个生命周期中保持运行,且一般会同时运行多个线程。这有利于不同应用的分离,但同时,它也意味着数据不能在不同的spark应用(或者说不同的SparkContext)中共享,除非你先将数据输出到外部存储中。
2、spark独立于底层的cluster manager,只要保证它能够获取到executor processes,并且这些进程之间能互相通信。这就很容易将应用运行于不同的cluster manager,如mesos/yarn等,甚至这些cluster manager还能运行其它类型的应用。
3、驱动程序必须在整个生命周期中监听并接受执行器的连接 (e.g., see spark.driver.port and spark.fileserver.port in the network config section)。因此驱动程序对于工作节点来说,必须可以通过网络访问的。
集群管理器的类型
目前spark支持以下几种集群管理器:
- Standalone – spark自带的集群管理器,可以很方便的用于创建集群。
- Apache Mesos – 一个通过的资源管理器,它可用于运行MR与一些其它应用。
- Hadoop YARN – hadoop2.x引入的资源管理器。
此外,spark的EC2 launch scripts 使得你可以很方便的在亚马逊EC2上运行独立集群。
提交应用
可以通过spark-submit向任意类型的集群提交应用。 application submission guide 详细介绍了如何向spark集群提交应用。
监控
每一个驱动程序都有一个web UI(一般在4040端口),它展示了应用的信息,包括运行的任务,执行器以及存储的使用情况等。在一个浏览器中打开 http://:4040 就可访问到这个UI,monitoring guide详细介绍了其它监控项。
作业调度
spark在不同应用间以及应用内部提供资源分配的控制, job scheduling overview详细介绍了这些内容。
术语
下面总结了你在使用spark中需要用到的术语:
Application
用户创建的spark应用,它由一个驱动程序和多个执行器组成。
Application jar
jar包包括了用户的spark应用,有时候,用户会创建一个超级包,它包括了这个包的所有依赖,但是不管如何,用户Jar包不应该包括hadoop和spark的library,它们会在运行时自动加载。
Driver program
运行应用main函数的进程,同时它也用于创建SparkContext。
Cluster manager
一个用于获取集群资源的外部服务,如 ( standalone manager, Mesos, YARN)
Deploy mode
用于区分在哪里运行驱动程序,在cluster模式中,会在集群内运行驱动程序,而在client模式中,在集群外运行驱动程序。
Worker node
集群中可以运行应用代码的节点
Executor
某个应用运行于worker node的进程,它运行多个任务(task),并且在内存或者磁盘中保存数据。每一个应用都有自己的一个或者多个executors
Task
在executor中运行的工作单元
Job
由多个task组成的并行计算,你会在driver的log中看到这个词
Stage
每一个job会被切分为一个更小的任务集合,这些任务集群被称为stage,它们之间互相依赖(如MR中的map和reduce),你会在driver的log中看到这个词。一般而言,以宽依赖作为依据分割stage。