![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
DonJayoung
人间不值得。
展开
-
北风网Spark2.0学习笔记
2018-7-9 =>大致介绍大数据体系框架结构图Spark和MapReduce计算模型的比较shuffle的简单介绍:shuffle:针对多个map任务的输出按照不同的分区(Partition)通过网络复制到不同的reduce任务节点上的过程。相应上图中红色框所圈的内容。由图可见Shuffle过程横跨了map,reduce两端Spark的整体架构SparkSQL和hiveSparkSQL主...原创 2018-07-09 16:06:55 · 843 阅读 · 0 评论 -
Spark架构原理
38讲调度过程:原创 2018-07-09 16:44:55 · 147 阅读 · 0 评论