![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
凯哥多帅哦
当编程成为一种习惯
展开
-
spark原理之一张图搞定shuffle原理
如下:https://www.processon.com/view/link/60127d50079129652cdd3570原创 2021-02-01 16:27:24 · 181 阅读 · 0 评论 -
spark原理之一张图搞定算子执行原理
目录一、案例:从最简单的wordCount说起二、执行流程图三、总结四、附录:常见算子源码分析表一、案例:从最简单的wordcount说起一般来说我们见到的第一个spark程序,也就是传说中的wordcount,如下所示val textFileRDD = sc.textFile("hdfs://xxxx")textFileRDD.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect().foreac..原创 2021-01-27 20:34:12 · 270 阅读 · 0 评论 -
spark原理之一张图搞定spark-submit提交流程
如下:https://www.processon.com/diagraming/5fd80fdc63768906e6ddf8b8原创 2021-01-24 20:48:33 · 292 阅读 · 2 评论 -
spark原理之一张图搞定ContextCleaner
如下:https://www.processon.com/view/link/6007a4e31e08534bec2adf7e原创 2021-01-20 11:41:43 · 123 阅读 · 0 评论 -
spark原理之一张图搞定accumulator
如下:https://www.processon.com/view/link/6006922cf346fb566ebb6807原创 2021-01-19 16:09:29 · 184 阅读 · 0 评论 -
spark原理之一张图搞定broadcast
如下:https://www.processon.com/diagraming/6004f1e0f346fb566eb6a4ca原创 2021-01-18 17:25:17 · 167 阅读 · 0 评论 -
spark中num-executors,executor-cores,executor-memory调参的艺术
在跑Spark-On-Yarn程序的时候,往往会对几个参数(num-executors,executor-cores,executor-memory等)理解很模糊,从而凭感觉地去指定值,这是不符合有追求程序员信仰的。因此,搞懂它们,很有必要。本文翻译自https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html。译文如下:是否曾经想要知道如何转载 2020-10-26 23:18:42 · 4470 阅读 · 0 评论