（60）.双流合并实现

除了事实表与维表进行合并形成宽表，还需要事实表与事实表进行合并形成更大的宽表。

3.1 双流合并的问题

由于订单流和订单明细流，两个流的数据是独立保存，独立消费，很有可能同一业务的

数据，分布在不同的批次。因为 join 算子只 join 同一批次的数据。如果只用简单的 join 流

方式，会丢失掉不同批次的数据。

 

3.2 解决策略

3.2.1 通过缓存

➢ 思路

两个流做满外连接因为网络延迟等关系，不能保证每个窗口中的数据 key 都能匹配上，

这样势必会出现三种情况：(Some,Some)，

(None,Some)，

(Some,None),根据这三种情

况，下面做一下详细解析：

◼ (Some，Some)

1 号流和 2 号流中 key 能正常进行逻辑运算，但是考虑到 2 号流后续可能会有剩下的

数据到来，所以需要将 1 号流中的 key 保存到 redis，以等待接下来的数据

◼ (None,Some)

找不到 1 号流中对应 key 的数据，需要去 redis 中查找 1 号流的缓存，如果找不到，

则缓存起来，等待 1 号流

◼ (Some,None)

找不到 2 号流中的数据，需要将 key 保存到 redis，以等待接下来的数据，并且去 reids

中找 2 号流的缓存，如果有，则 join，然后删除 2 号流的缓存

➢

优点

不会造成数据重复

➢

缺点

缓存处理代码编写复杂，尤其是流 join 比较多的情况。

 3.2.2 通过滑动窗口+数据去重

➢

优点

处理代码相对简单

➢

缺点

会造成数据重复，需要对重复数据进行处理

注意：必须是滑动窗口，如果是滚动的话，也没有解决 join 问题。

 

3.3 双流 Join 处理代码

➢ 创建 OrderWide 样例类，用于封装订单以及订单明细信息

 

 

 ➢ 在 OrderWideApp 里面添加