weixin_41099552的博客

原创 sparksql优化之浅谈mapjoin和broacast广播变量

在等待期间，突然就有个疑问，这个broadcast不是广播变量吗，为什么这里会出现这个问题。2.所以这里的内存应该指的就是executor了，每个executor保存一份小表副本，再由executor下的task进行拉取，这里基本就是广播变量的原理了。2022年10月10日，在大数据集群跑任务，爆出超时错误，在同事建议下，增大broadcast join时长重跑程序。中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。