- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark源码分析:spark运行总流程
整体流程图：1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Ta
2016-12-08 22:44:03
410
原创 spark运行模式
Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布式模式运行；而当以分布式集群的方式部署时，底层的资源调度既可以依赖于外部的资源调度框架，也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持，目前主要包括Mesos模式和Hadoop YARN模式。接下来，将对分布式集群部署的模式进行讲解。Standalone模式Sta
2016-12-08 22:24:21
500
原创 Spark总体架构
Spark的架构图如下图所示：从上面的架构图中，我们可以看出，整个架构可以分为一下几部分：Client：用户提交作业的客户端Driver：运行application的main函数，创建sparkcontext初始化运行环境, 在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，
2016-12-08 22:14:08
365
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人