![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 63
冰雪_ang
人生恰似风前絮,欢也零星,悲也零星,都做连江浮点萍。
展开
-
spark shuffle过程源码解析
spark shuffle writer过程详解原创 2022-11-04 11:21:56 · 1357 阅读 · 0 评论 -
Spark 外部变量和BroadCast变量的区别
spark里面算子里面使用外部变量和BroadCast变量的区别:1、如果在算子里面使用外部变量,spark会将外部变量复制多个副本,通过网络传输到每一个task里面去(也就是说,此时的外部变量是task级别的)2、BroadCast变量,使用spark的广播功能进行广播,广播之后保障每个executor里面只驻留一份变量,而同一个Executor中的task共享这一份变量(也即是说,BroadCast的变量是Executor级别的)很显然,第二种方式是更能节省网络资源和内存资源的。...原创 2020-10-05 21:57:18 · 1746 阅读 · 0 评论 -
spark on yarn申请内存大小的计算方法
最近在调试sparkStreaming程序的时候,遇到一个问题:我设置的sparkStreaming的相关参数如下:spark.executor.instances: 56spark.executor.memory :2Gspark.driver.memory:5Gspark.executor.cores:2按照这部分参数,计算出来申请的内存大小应该是:56 * 2G + 5G = ...原创 2019-10-10 19:20:35 · 3205 阅读 · 0 评论