hive数据库设计中的拉链表、增量表、全量表详解

1)       存量、流量、增量

存量：系统在某一时间点所存有的全部数据量；

流量：是指在某一段时间内流入/出系统的数量；

增量：是指在某一段时间内系统中保有数量的变化；

增量=流入量—流出量

本期期末存量=上期期末存量+本期内增量；

2)       拉链表：

注意事项

（1）记录一个事物从开始，一直到当前状态的所有变化的信息；

（2）拉链表每次上报的都是历史记录的最终状态，是记录在当前时刻的历史总量；

（3）当前记录存的是当前时间之前的所有历史记录的最后变化量（总量）；

（4）存量是在某一时刻的总量；

（5）存量一般设计成拉链表（月报-常用、日报）；

（6）流量和存量的区别：流量是增量；存量是总量；

（7）封链时间可以是2999，3000，9999等等比较大的年份；拉链表到期数据要报0；

（8）拉链表和增量表的共同点：表结构基本一样。

3)       拉链表：例子详解

 

 4)       增量表：注意事项
（1）记录每次增加的量，而不是总量；
（2）流量是指在一定时间内的增量；
（3）流量一般设计成增量表（日报-常用、月报）；
（4）流量和存量的区别：流量是增量；存量是总量；
（5）增量表，只报变化量，无变化不用报

5)       增量表：例子详解（增量表只有上报时间，开始时间更改为上报时间）

6)       全量表：注意事项
（1）全量表，有无变化，都要报
（2）每次上报的数据都是所有的数据（变化的 + 没有变化的）

7)       全量表：例子详解（全量表只有上报时间，开始时间更改为上报时间）