通信策略
通信模式 | spark通信策略 |
---|---|
点对点通信(node-to-node communication strategy) | all-to-all通信shuffle join |
逐点计算(per node computation strategy) | broadcast join |
注意:通信策略的优化会随着时间推移,在新版本中会有改进,内部优化器会随着基于成本的优化策略的改进,而更新对应join策略。
从宏观层面考虑
大表和大表关联,最终是shuffle join的过程,尤其是没有经过合理分区、分桶的情况下。每个节点都要和所有其他节点进行通信,由于网络会因通信量而阻塞,所很耗时。
大表和小表关联,当小表足够小、可放入单个