- 博客(1)
- 收藏
- 关注
原创 sparksql优化之浅谈mapjoin和broacast广播变量
在等待期间,突然就有个疑问,这个broadcast不是广播变量吗,为什么这里会出现这个问题。2.所以这里的内存应该指的就是executor了,每个executor保存一份小表副本,再由executor下的task进行拉取,这里基本就是广播变量的原理了。2022年10月10日,在大数据集群跑任务,爆出超时错误,在同事建议下,增大broadcast join时长重跑程序。中表数据做匹配,由于在map端是进行了join操作,省去了reduce运行的时间,算是hive中的一种优化。
2022-10-10 21:51:25 2224 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人