本文探讨了在Flink SQL中使用双流Join时遇到的数据重复问题，原因是left join导致的数据回撤。通过分析不同类型的join操作（如inner join, outer join），并结合实际业务场景，发现数据源中的键值可能为空，这使得left join成为必要。在调试过程中，使用了db sink来检查中间结果，并发现在支持retract机制的db sink中能正确处理，而kafka sink由于仅支持append模式，导致数据重复。解决办法是建议下游通过主键查询并按时间排序，选择最新的数据。对于预测模型应用，可以选取主键对应预测值最大者。"
133962285,5564205,2023华为OD机试：水果摊小买卖Java解题,"['华为od', 'java', '算法', '数据结构', '开发语言']
数据源：kafka topic数据类型为json
业务场景：解析json,由于数据层级比较深，而且包含数组，此处键值可能为空
所以数据就变成了双流join，甚至是多流join。
问题原因：采用left join导致数据回撤，然后同一个主键数据产生重复
是采用inner join 还是 outer join，具体区别见 Flink Sql教程（5）_狄杰的博客-CSDN博客_connector.startup-mode
Flink Sql on Zeppelin（5）——双流Join_狄杰的博客-CSDN博客
由于此处关联可能存在键值为空匹配不到的情况
2809
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
扫一扫
