![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark源码
文章平均质量分 72
每天一滴水
这个作者很懒,什么都没留下…
展开
-
spark源码一:sparkContext初始化之SparkConf
概述: 1.sparkContext初始化很重要,因为他是Driver应用程序提交执行的前提,只有sparkContext初始化后才可以Driver提交用户应用程序,也就是说spark driver的初始化围绕着sparkContext初始化展开的,SparkContext可以算是spark应用程序的发动机引擎 2.源码研究以local模式为主 3.Spark中的组件很多...原创 2018-06-21 10:28:15 · 840 阅读 · 0 评论 -
spark源码二:sparkContext初始化之spark的执行环境SparkConf
SparkEnv是Spark的执行环境对象,其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor,所以SparkEnv存在于Driver或者CoarseGrainedExecu...原创 2018-06-25 16:20:56 · 479 阅读 · 0 评论 -
spark源码伴读之AKKa
什么是Actors我们这把Actors当作是一个人,这个人不会自己和其他的人直接说话,他们只通过mail来进行交流。 Actors特点对比传统线程的特点:维护困难,常常会存在僵尸进程的bug很难重现,或者线程良妃大量的时间来等待共享状态而阻塞 AKKa Actors:可以更好地控制子任务,不使用锁机制和同步块 消息传递(Actor模型的一个基本特征)假设有...原创 2018-07-02 17:11:23 · 180 阅读 · 0 评论