全量表关联问题

解决全量表关联的问题

一.问题说明

需求:有两张全量表,现在要进行关联,关联字段是id,每天的全量区分字段是fdate,现在要进行左联,以左表为主表,报送当天的数据。

表一

idnamefdate
1张三2021-05-31
2李四2021-05-31

表二

idnamefdate
1王倩倩2021-05-31

错误做法 :我想大部分人刚开始也可能会这样做

select * from table1 left join table2 on table1.id = table2.id
where table1.fdate = '2021-05-31'
and table2.fdate = '2021-05-31';

想象中的结果集

idnamefdateid(1)name(1)fdate(1)
1张三2021-05-311王倩倩2021-05-31
2李四2021-05-31

实际中的结果集

idnamefdateid(1)name(1)fdate(1)
1张三2021-05-311王倩倩2021-05-31

结果是少了一条数据 当然这只是测试的案例,在实际开发中,尤其是在银行中做开发,这一张表就有上亿条数据,如果我们这样做,那上报数据的准确性自然是差的不能再差了,解决方案如下:

我们不妨观察下不带where条件的结果集

idnamefdateid(1)name(1)fdate(1)
1张三2021-05-311王倩倩2021-05-31
2李四2021-05-31

发现table2的idnamefdate是空值,我们可以这些条件作为判断,当然这里取一个值就可以作判断,最合理的当然是取fdate,于是sql就可以这样写:

select * from table1 left join table2 on table1.id = table2.id
where table1.fdate = '2021-05-31'
and table2.fdate = '2021-05-31' and  table2.fdate is null;

于是结果集就成了理想中的结果集:

idnamefdateid(1)name(1)fdate(1)
1张三2021-05-311王倩倩2021-05-31
2李四2021-05-31

问题:这样写是没错,但是会滋生一个问题,当你连接的表越多,你在where后加的判空条件就越多,但是目前还没想到更好的解决方法,有想法欢迎评论区留言。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Flink SQL中进行维表关联的方法有多种。其中一种常见的方法是使用Redis作为维表存储介质,以获得较快的响应速度。然而,在写入和查询维表时,需要使用concat和table function函数进行处理,这种方式比较繁琐。有没有更简单的方法呢?可以通过以下几种方式进行维表关联: 1. 实时查询:即在每个事件流中动态查询维表数据。这种方式适用于维表数据量较小的情况。 2. 预加载全量数据:将维表数据提前加载到内存中,以便在查询时直接从内存中获取数据。这种方式适用于维表数据量较大但不会频繁变动的情况。 3. LRU缓存:使用Least Recently Used (LRU)算法,将最近使用的维表数据缓存到内存中,以提高查询速度。这种方式适用于维表数据量较大且经常变动的情况。 4. 广播维表:将维表数据广播到所有的任务节点,以避免网络通信开销。这种方式适用于维表数据较小且较为常用的情况。 5. 自定义线程池访问维表:通过自定义线程池来并发地查询维表数据,以提高查询效率。这种方式适用于维表数据量较大且需要频繁查询的情况。 6. 自己扩展Flink SQL关联维表的方式:根据具体需求,可以自己扩展Flink SQL关联维表的方式,以满足特定的业务需求。 综上所述,根据实际情况和需求,可以选择上述的一种或多种方式来进行Flink SQL中的维表关联操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Flink SQL多字段的维表关联查询-flink-connector-redis](https://blog.csdn.net/zilong00007/article/details/127111163)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [轻松通关Flink第19讲:Flink 如何做维表关联](https://blog.csdn.net/sucaiwa/article/details/129808043)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值