商汤科技大数据面试题及参考答案

Spark 的 join 操作和 reduceByKey 操作是否一定有 Shuffle？

在 Spark 中，join操作和reduceByKey操作通常会涉及到 Shuffle，但不是一定的。

对于join操作：

• 当进行join时，如果参与join的两个 RDD 的分区方式与join条件不匹配，就需要通过 Shuffle 来重新分区，以确保具有相同join键的记录能够被分配到同一个分区中进行join操作。例如，两个 RDD 按照不同的键进行了分区，而现在要基于另一个不同的键进行join，那么就必然会发生 Shuffle。
• 然而，如果两个 RDD 已经按照join键进行了相同的分区（比如都使用了 HashPartitioner 且分区数相同，并且按照join键进行了分区），那么可以直接在本地进行join，而不需要 Shuffle，这种情况被称为Broadcast Hash Join或Co - locate Join，前提是其中一个 RDD 足够小ÿ