一、明细层
- 分区日期为数据数据处理日期,当日分区里存放的是当日新增和变化的数据。
每次ods层来的是新增与变化的记录,可能一个业务主键会有多条事件记录,中间状态数据不会丢失。 - 对数据处理日期该事件是否发生打标签
每天新增与变化的数据里面,通过状态和事件发生时间(与数据处理日期相比较),如果是事件处理日期发生的事件,则标记为is_td_xxx发生,字段值赋为1,当然也存在数据处理日期前发生的记录,因为有其他属性值发生变更导致存在于当日变化的数据里面,这部分数据因为is_td_xxx为false,0 ,后续汇总层统计时,并没有计算在内。
二、汇总层
时间周期:
最近 1 天 1d
最近 14 天 14d
最近 n天 nd
截至当日 td
年初截至当日 sd
最近 7 天 1w
最近 14 天 14d
最近 30 天 1m
最近 90 天 3m
最近 180 天 6m
自然周 cw
自然季度 cq
自然月 cm
最近 1 小时 1h
未来 7 天
flw 财年 fy
汇总层最常见的:
xxx_1d:
取数据处理日期,对应业务过程is_td_xxx为1的数据,按业务逻辑取数统计。
xxx_td:
对于可累加的指标,可以采取前一天的累计值+xxx_1d的值。
对于不可累加的指标,需要取所有小于等于数据处理日期,对应业务过程is_td_xxx为1的数据,按业务逻辑取数统计。
xxx_nd:
取最大的n,前n天以来的数据。