spark源码系列--1基本概述

前言:spark源码分析系列 ,文中有错误的地方 请多多指正。体系架构如下,可以看出spark是一个全兼容的生态圈,不一定是最好的,但是是最全面的,一个spark生态圈就可以解决绝大多数数的大数据问题。

一、spark基本概念

1.Application:就是一个程序,一个jar包,一个war包,也就是通过spark-submit提交的程序

2.Driver:就是为这个应用所提供的运行环境,上下文环境等等,也就是spark的一些Api等等

2.Job:Application中的一个action算子就是一个job,每遇到一个就算一个

4.Stage:job的具体划分,一个job可以划分成多个stage,根据宽依赖还是窄依赖,如果父RDD中的数据进入不同的子RDD就是宽依赖,反之就是窄依赖,宽依赖和窄依赖的边界就是stage的划分点

5.Task:Stage的具体划分,也就是说这个job分成多少个task,也就是这个job的具体的执行逻辑单元

6.Excutor:执行具体task的的物理单元,包括IP地址,cpu,内存等等。

 

二、spark是一款分布式计算框架,代码运行在集群的各个节点上,spark将集群节点分为三类

  1:master   Spark管理节点,负责管理Worker进程,协调调度Client发布的任务处理,Master节点可以为多个,有且仅能有一个为acitvity状态,其他为standby状态

  2:worker   Spark工作节点,负责具体的任务执行工作

  3:client   Spark任务节点,负责发布,查询,以及中止任务的相关进程的统称,Client是运行时有效进程,如果相关任务处理完成,对应的进程结束。

 

三、将自己写好的代码发布到集群上运行,需要使用spark-submit脚本。submit的方式有三种

  1:local: 本地模式只有Driver,没有Master和Worker。执行任务的Executor与Driver在同一个JVM进程中,一般用于测试

  2:standalone:利用Spark自带的资源管理与调度器运行Spark集群,采用Master/Slave结构。该模式主要的节点有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上中,也可以运行在本地Client端。当用spark-shell交互式工具提交Spark的Job时,Driver在Master节点上运行;由--master参数控制。当使用spark-submit工具提交Job或者在Eclips、IDEA等开发平台上使用”new SparkConf.setManager(“spark://master:7077”)”方式运行Spark任务时,Driver是运行在本地Client端上的。 

  3:yarn:Hadoop资源管理器Yarn,资源管理交给Yarn而Spark只负责任务调度与计算部分。技术较为成熟、最为常用。按照driver的位置又可以分为yarn-client和yarn-cluster,由deploy-mode参数控制。Yarn-Client模式中,Driver在客户端本地运行,这种模式可以使得Spark Application和客户端进行交互,因为Driver在客户端,所以可以通过webUI访问Driver的状态,默认是http://hadoop1:4040访问,而YARN通过http:// hadoop1:8088访问。Yarn-Client模式中,Driver在运行在集群上的某一台节点上,该节点是ApplicationMaster。二者的区别是:ApplicationMaster的作用不同,前者只是负责和ResourceManger注册申请资源,后者不仅仅是要申请资源,还要在该节点初始化Driver。

具体的执行流程(standalone)

  1. Client运行时向Master发送启动驱动申请(发送RequestSubmitDriver指令)
  2. Master调度可用Worker资源进行驱动安装(发送LaunchDriver指令)
  3. Worker运行DriverRunner进行驱动加载,并向Master发送应用注册请求(发送RegisterApplication指令)
  4. Master调度可用Worker资源进行应用的Executor安装(发送LaunchExecutor指令)
  5. Executor安装完毕后向Driver注册驱动可用Executor资源(发送RegisterExecutor指令)
  6. 最后是运行用户代码时,通过DAGScheduler,TaskScheduler封装为可以执行的TaskSetManager对象
  7. TaskSetManager对象与Driver中的Executor资源进行匹配,在队形的Executor中发布任务(发送LaunchTask指令)
  8. TaskRunner执行完毕后,调用DriverRunner提交给DAGScheduler,循环7.直到任务完成

四、Spark 架构如下图

从图中可以看出,spark包括几大模块:其中2、3、4、5都需要1模块,以后的文章主要介绍spark core

1、spark core (apache spark)

2、spark sql(spark 杀手锏,离线处理神器)

3、spark streaming (准实时处理,类似strom)

4、saprk mllib (机器学习)

5、graphx (数据挖掘,数据分析)

五、最后附一篇spark源码调试链接,感谢借用,调试源码,能让我们更加理解程序运行,否者难度相当于new object();

https://blog.csdn.net/do_yourself_go_on/article/details/73129408

 

 

发布了15 篇原创文章 · 获赞 6 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览