2021-01-18

1.Flink双流Join总结: 

• Join大体分类只有两种：Window Join和Interval Join。Window Join又可以根据Window的类型细分出3种：
  • Tumbling Window Join
  • Sliding Window Join
  • Session Widnow Join
• Windows类型的join都是利用window的机制，先将数据缓存在Window State中，当窗口触发计算时，执行join操作；
• interval join也是利用state存储数据再处理，区别在于state中的数据有失效机制，依靠数据触发数据清理；
• 目前Stream join的结果是数据的笛卡尔积；
• 日常使用中的一些问题，数据延迟、window序列化相关。
•  

2.双流JOIN与传统数据库表JOIN的区别

传统数据库表的JOIN是两张静态表的数据联接，在流上面是 动态表，双流JOIN的数据不断流入与传统数据库表的JOIN有如下3个核心区别：

• 左右两边的数据集合无穷 - 传统数据库左右两个表的数据集合是有限的，双流JOIN的数据会源源不断的流入；
• JOIN的结果不断产生/更新 - 传统数据库表JOIN是一次执行产生最终结果后退出，双流JOIN会持续不断的产生新的结果。
• 查询计算的双边驱动 - 双流JOIN由于左右两边的流的速度不一样，会导致左边数据到来的时候右边数据还没有到来，或者右边数据到来的时候左边数据没有到来，所以在实现中要将左右两边的流数据进行保存，以保证JOIN的语义。在Blink中会以State的方式进行数据的存储。