![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 58
PeterGss
百度攻城狮
展开
-
spark问题总结
sparkExecutor内存总体布局默认情况下,Executor不开启堆外内存,因此整个 Executor 端内存布局如下图所示:整个Executor内存区域分为两块:1、JVM堆外内存大小由 spark.yarn.executor.memoryOverhead 参数指定。默认大小为 executorMemory * 0.10, with minimum of 384m。此部分内存主要用于JVM自身,字符串, NIO Buffer(Driect Buffer)等开销。此部分为用户代原创 2021-03-29 21:43:42 · 414 阅读 · 0 评论 -
spark 中的limit 会导致原本并发处理的任务转换成两个1个task的stage去处理,如果limit后跟的数很大会导致任务阻塞.器
sparksql 中的limit 会导致原本并发处理的任务转换成两个1个task的stage去处理,如果limit后跟的数很大会导致任务阻塞.加了 limit 所以一个stage转换成 两个各只有1task 的stage。不加limit的话 就只有一个3k的stage。sql语句中加了limit的stage、DAG:不加limit的stage、DAG:...原创 2021-03-13 10:38:02 · 678 阅读 · 0 评论