![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Spark core、Spark sql、Spark Streaming、Structured Streaming
erainm
java ->大数据
展开
-
Spark调优之 -- Spark资源调优
1. 调优概述2. Spark作业基本运行原理3. 资源参数调优4. 资源参数参考示例转载 2020-10-29 16:41:11 · 290 阅读 · 0 评论 -
Spark调优之 -- Spark的并行度深入理解(别再让资源浪费了)
1. 并行度理解2. 设置Application并行度原创 2020-10-29 11:23:53 · 5861 阅读 · 0 评论 -
Spark调优之 -- 对于 Spark 中的数据倾斜问题(已更新)
1. 什么是数据倾斜2. 数据倾斜是如何造成的?3. 发生数据倾斜以后的现象4. 定位数据倾斜出现的原因与出现问题的位置5. 解决方案总体原理说明6. 具体解决方案 6.1 聚合源数据以及过滤导致倾斜的key 6.2 提高shuffle操作reduce并行度 6.3 使用随机key实现双重聚合 6.4 将reduce join转换为map join 6.5 sample采样倾斜key单独进行join 6.6 使用随机数以及扩容表进行join原创 2020-10-20 19:30:06 · 353 阅读 · 0 评论 -
Spark的内存模型及Executor的Execution内存解析
1. Spark的内存模型1.1 Execution 内存和 Storage 内存动态调整1.2 Task 之间内存分布2. Execution内存解析原创 2020-10-20 19:15:17 · 1616 阅读 · 0 评论