flink如何做join

概览

在单节点小数据量的场景下，最简单的join方式是nested-loop join，该join会产生笛卡尔积，复杂度为o(n2)，显然不适合大数据量join。
在分布式系统上的join通常被分为两步：

• 1、各节点上的数据重分区，具有相同key的数据放到同一节点
• 2、单个节点进行的stand alone join
  用flink术语来说，第一阶段称为ship stategy（分发），第二阶段称为local strategy（本地处理）。 在下文中，我将介绍flink的两种策略，下文称做join的两个数据集为R和S。

flink join的两个阶段

ship strategy(分发)

flink提供了两种分发策略：

• the Repartition-Repartition strategy (RR，join左右都要重分区)
  
• the Broadcast-Forward strategy (BF，把其中一个表广播到另一个表所在节点上)