![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark核心原理
文章平均质量分 79
yellowboy_
这个作者很懒,什么都没留下…
展开
-
Spark核心原理1:相关术语介绍
在了解Spark基本流程前,我们先了解几个概念: Application(应用程序):是指用户编写的Spark应用程序,包含驱动程序(Driver)和分布在集群中多个节点上运行的Executor代码,在执行过程中由1个或多个作业组成。 Driver(驱动程序):Spark中的Driver即运行上述Application的main函数并且创建的SparkConext,创建Spar原创 2017-02-22 20:03:06 · 529 阅读 · 0 评论 -
Spark之SchedulerBackend、DAGScheduler和TaskScheduler
在Spark应用启动时,会初始化SparkContext对象。在SparkContext中,会创建SchedulerBackend、DAGScheduler、TaskScheduler。原创 2017-08-29 16:45:17 · 418 阅读 · 0 评论