- 博客(3)
- 收藏
- 关注
原创 spark源码分析:spark运行总流程
整体流程图: 1、Driver程序的代码运行到action操作,触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJob函数。 3、DAGScheduler把Job划分stage,然后把stage转化为相应的Tasks,把Tasks交给TaskScheduler。 4、通过TaskScheduler把Ta
2016-12-08 22:44:03 410
原创 spark运行模式
Spark的运行模式多种多样,灵活多变,部署在单机上时,既可以用本地模式运行,也可以用伪分布式模式运行;而当以分布式集群的方式部署时,底层的资源调度既可以依赖于外部的资源调度框架,也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持,目前主要包括Mesos模式和Hadoop YARN模式。 接下来,将对分布式集群部署的模式进行讲解。 Standalone模式 Sta
2016-12-08 22:24:21 500
原创 Spark总体架构
Spark的架构图如下图所示: 从上面的架构图中,我们可以看出,整个架构可以分为一下几部分: Client:用户提交作业的客户端 Driver:运行application的main函数,创建sparkcontext初始化运行环境, 在Spark中由SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等;当Executor部分运行完毕后,
2016-12-08 22:14:08 366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人