spark
潮生明月
西安电子科技大学研究生
展开
-
spark运行原理
1、YARN架构设计详解 2、Spark on Yarn的运行原理 3、详细探究Spark的shuffle实现 4、Spark基本工作流程及YARN cluster模式原理 5、Spark学习笔记1:Application,Driver,Job,Task,Stage理解...原创 2018-07-22 18:25:30 · 507 阅读 · 0 评论 -
spark RDD collect()
collect的作用 Spark内有collect方法,是Action操作里边的一个算子,这个方法可以将RDD类型的数据转化为数组,同时会从远程集群是拉取数据到driver端。已知的弊端 首先,collect是Action里边的,根据RDD的惰性机制,真正的计算发生在RDD的Action操作。那么,一次collect就会导致一次Shuffle,而一次Shuffle调度一次stage,然而一...转载 2018-08-24 17:01:05 · 27544 阅读 · 1 评论