数仓事实表elt方案记录

本文介绍了如何在事实表的字段来源于多张业务表时,通过关联查询和exists子句检测当日数据变动,以实现增量抽取。方法包括使用多表联接并结合update_time筛选更新记录。
摘要由CSDN通过智能技术生成

当事实表的字段来自多张业务表时增量抽取

1.先使用关联查询得到事实表字段结果集
2.使用 exists 过滤当天有变化的数据,如下:当a,b,c业务表任意一条记录存在更新时就能通过exists内的查询识别到对应的记录需要更新。

select 
a.* ,
b.*,
c.*
from a 
left join b on a.id = b.business_id
left join c on a.id = c.business_id
where 
exists(
select id from(
select id from a where a.update_time = ''
union 
select id from b where b.update_time = ''
union
select id from c where c.update_time=''
) d
where a.id = d.id
)

也可以单表字段抽取,对每张业务表进行update_time筛选当天的数据变动,在通过关联条件进行更新。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值