数据的全量与增量

数据有很多种下发方式:

简单的来说分为增量和全量。

全量获取

当表是一个全量分区表

一般数据下发的来源表是一个分区表,全量就是一次下发一个分区。

当表是一个增量分区表

一次性下发全表

当表是一个拉链表

获取每个客户的最新状态全量下发。(伪代码如下)
select 字段
(  
select 字段 ,over (partition by id order by batch_date1 desc) as cnn from table_Z where batch_date ='xxxxxxxx'
) a where cnn =1;

增量获取:

但是往往非大数据系统无法一口气吃掉千万级别的数据量。

一般会采取增量下发的方式。

当表是一个增量分区表

只需要下发一个分区

当表是一个全量分区表

需要对今天的分区数据和昨天分区数据的数据进行比对,然后寻找新增,差异,和删除三部分。然后下发

伪代码:

新增和差异: 需要约定好增改标识

select 字段,增改标识
(select 字段 from table_F where batch_date=今天) t0
left join
(select 字段 from table_F where batch_date=昨天) t1
on t0.id=t1.id
where (t0.字段1<>nvl(t1.字段1,'not exist'or 
t0.字段2<>nvl(t1.字段2,'not exist').....);

 删除:需要约定好 删除标识

select 字段 ,删除标识
fromselect 字段 from table_F where bacth_date ='昨天') t0
 left join
 (select 字段 from table_F where bacth_date ='今天') t1
on t0.id =t1.id
where t1 is null;

不过也可以用outer 的方式实现:

当表是一个全量拉链表

select 字段 from table_Z where batch_date='今天' and stat_date='今天' 

 

转载于:https://www.cnblogs.com/wqbin/p/11270190.html

展开阅读全文
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2020 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值