目录
0、spark缘起
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一
1、spark的运行框架
其中:
driver:一个进程,将用户程序转化为作业(job),在Executor之间调度任务(task),并跟踪执行情况并UI展示,在yarn模式下就是Application Master,一般是在worker上启动
excuter:一个JVM进程,负责在 Spark 作业中运行具体任务(Task-线程)
对应物理节点是:worker和master(yarn里面是RM 和 NM,spark一般来说都是cluster on yarn )
master:管理 Worker、Application(接收 Worker 的注册并管理所有的 Worker;接收 Client 提交的 Application,调度等待的Application 并向Worker提交)。
worker:具体的任务执行节点,对应yarn里面的NodeManager
client:客户端
yarn相关:
resourcemanager(RM):处理客户端请求,资源管理调度
nodemanager(NM):管理node资源,运行程序
container:抽象资源容器,封装着一定的cpu、io和网络等资源,基本的资源单位,一般是一定比例的CPU虚拟核数vcore和内存(具体比例和物理机器和集群的配置相关),申请资源时需要注意这块,否则会造成资源浪费
ApplicationMaster(AM):一个进程,负责整体应用程序的资源申请和任务分配,并监控任务状态,与RM和NM通信频繁
详细运行过程:
2、一些基本的概念
job:遇到action会生成job,spark的惰性机制导致