数据仓库拉链表

最新推荐文章于 2024-06-11 09:00:00 发布
最新推荐文章于 2024-06-11 09:00:00 发布
阅读量819 收藏 8
点赞数
分类专栏： 数据仓库 文章标签： 数据仓库
原文链接：https://blog.csdn.net/weixin_45399233/article/details/100601551
版权

增量数据与历史库做成拉链表


首先介绍几个表概念：

全量表：每天的所有的最新状态的数据

增量表：每天的新增数据

拉链表：维护历史状态，以及最新状态数据

流水表：对于表中的每一个修改都会记录，可以用于反映实际记录的变更

拉链表VS流水表：

拉链表：通常是对帐户信息的历史变动进行处理保留的结果；用于统计业务相关情况
流水表：每天的交易形成的历史；用于统计账户及客户的情况

在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

  1. 数据量比较大；

  2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等；

  3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，
    比如，查看某一个用户在过去某一段时间内，更新过几次等等；

  4. 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右；

  5. 如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;
    遇到些问题在没解决吗？

    拉链历史表，既能满足反应数据的历史状态，又可以最大程度的节省存储。

    拉链表案例：

    1、有一张订单表，2019-06-20 这天里面有三条订单数据：

在这里插入图片描述
到了2019-06-21这天，表中有5条记录：

在这里插入图片描述
到了2019-06-22日，表中有6条记录：

在这里插入图片描述
这种存储方式有什么问题呢？

1、只保留一份全量，则数据和6月22日的记录一样，如果需要查看6月21日订单001的状态，则无法满足；

2、每天都保留一份全量，则数据仓库中的该表共有14条记录，但好多记录都是重复保存，没有任务变化，如订单002,004，数据量大了，会造成很大的存储浪费；

如果设计成历史拉链表，如下：

在这里插入图片描述
拉链表中字段解释：

  1. dw_begin_date表示该条记录的生命周期开始时间，dw_end_date表示该条记录的生命周期结束时间；
  2. dw_end_date = '9999-12-31’表示该条记录目前处于有效状态；
  3. 如果查询当前所有有效的记录，则select * from order_his where dw_end_date = ‘9999-12-31’
  4. 如果查询2019-06-21的历史快照，则select * from order_his where dw_begin_date <= ‘2019-06-21’ and dw_end_date >= ‘2019-06-21’，这条语句会查询到以下记录：
    在这里插入图片描述
    可以看出，这样的历史拉链表，既能满足对历史数据的需求，又能很大程度的节省存储资源；

举例：

源系统中订单表结构为：

CREATE TABLE orders_20190821 (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored AS textfile;


CREATE TABLE orders_20190822 (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored AS textfile;


CREATE TABLE orders_20190823 (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored AS textfile;

插入数据：

2019-08-21订单数据表
1,2019-08-18,2019-08-18,创建
2,2019-08-18,2019-08-18,创建
3,2019-08-19,2019-08-21,支付
4,2019-08-19,2019-08-21,完成
5,2019-08-19,2019-08-20,支付
6,2019-08-20,2019-08-20,创建
7,2019-08-20,2019-08-21,支付
8,2019-08-21,2019-08-21,创建


2019-08-22订单数据表
1,2019-08-18,2019-08-22,支付
2,2019-08-18,2019-08-22,完成
3,2019-08-19,2019-08-21,支付
4,2019-08-19,2019-08-21,完成
5,2019-08-19,2019-08-20,支付
6,2019-08-20,2019-08-22,支付
7,2019-08-20,2019-08-21,支付
8,2019-08-21,2019-08-22,支付
9,2019-08-22,2019-08-22,创建
10,2019-08-22,2019-08-22,支付


2019-08-23订单数据表
1,2019-08-18,2019-08-23,完成
2,2019-08-18,2019-08-22,完成
3,2019-08-19,2019-08-23,完成
4,2019-08-19,2019-08-21,完成
5,2019-08-19,2019-08-23,完成
6,2019-08-20,2019-08-22,支付
7,2019-08-20,2019-08-21,支付
8,2019-08-21,2019-08-23,完成
9,2019-08-22,2019-08-22,创建
10,2019-08-22,2019-08-22,支付
11,2019-08-23,2019-08-23,创建
12,2019-08-23,2019-08-23,创建
13,2019-08-23,2019-08-23,支付

ODS层设计：

在数据仓库的ODS层，有一张订单的增量数据表，按天分区，存放每天的增量数据：

CREATE TABLE ods_orders_inc (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING
)PARTITIONED BY (day STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored AS textfile;

DW层设计：

在数据仓库的DW层，有一张订单的历史数据拉链表，存放订单的历史状态数据：

CREATE TABLE dw_orders_his (
orderid INT,
createtime STRING,
modifiedtime STRING,
status STRING,
dw_start_date STRING,
dw_end_date STRING
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
stored AS textfile;

第一步，抽取全量数据到ODS：

INSERT overwrite TABLE ods_orders_inc PARTITION (day = '2019-08-20')
SELECT orderid,createtime,modifiedtime,status
FROM orders_20190821
WHERE createtime <= '2019-08-20';

第二步，从ODS刷新到DW：

INSERT overwrite TABLE dw_orders_his
SELECT orderid,createtime,modifiedtime,status,
createtime AS dw_start_date,
'9999-12-31' AS dw_end_date
FROM ods_orders_inc
WHERE day = '2019-08-20';

完成后，DW订单历史表中数据：

+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| dw_orders_his.orderid  | dw_orders_his.createtime  | dw_orders_his.modifiedtime  | dw_orders_his.status  | dw_orders_his.dw_start_date  | dw_orders_his.dw_end_date  |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| 1                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 9999-12-31                 |
| 2                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 9999-12-31                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-19                   | 9999-12-31                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-19                   | 9999-12-31                 |
| 5                      | 2019-08-19                | 2019-08-20                  | 支付                    | 2019-08-19                   | 9999-12-31                 |
| 6                      | 2019-08-20                | 2019-08-20                  | 创建                    | 2019-08-20                   | 9999-12-31                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-20                   | 9999-12-31                 |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+

增量抽取

每天，从源系统订单表中，将前一天的增量数据抽取到ODS层的增量数据表。这里的增量需要通过订单表中的创建时间和修改时间来确定：

INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = '${day}')
SELECT orderid,createtime,modifiedtime,status
FROM orders
WHERE createtime = '${day}' OR modifiedtime = '${day}';

增量刷新历史数据

从2019-08-22开始，需要每天正常刷新前一天（2019-08-21）的增量数据到历史表。

第一步，通过增量抽取，将2019-08-21的数据抽取到ODS：

INSERT overwrite TABLE ods_orders_inc PARTITION (day = '2019-08-21')
SELECT orderid,createtime,modifiedtime,status
FROM orders_20190821
WHERE modifiedtime = '2019-08-21' or createtime = '2019-08-21';

ODS增量表中2019-08-21的数据如下：


+-------------------------+----------------------------+------------------------------+------------------------+---------------------+--+
| ods_orders_inc.orderid  | ods_orders_inc.createtime  | ods_orders_inc.modifiedtime  | ods_orders_inc.status  | ods_orders_inc.day  |
+-------------------------+----------------------------+------------------------------+------------------------+---------------------+--+
| 3                       | 2019-08-19                 | 2019-08-21                   | 支付                     | 2019-08-21          |
| 4                       | 2019-08-19                 | 2019-08-21                   | 完成                     | 2019-08-21          |
| 7                       | 2019-08-20                 | 2019-08-21                   | 支付                     | 2019-08-21          |
| 8                       | 2019-08-21                 | 2019-08-21                   | 创建                     | 2019-08-21          |
+-------------------------+----------------------------+------------------------------+------------------------+---------------------+--+

第二步，通过DW历史数据(数据日期为2019-08-20)，和ODS增量数据(2019-08-21)，刷新历史表：

先把数据放到一张临时表中：

DROP TABLE IF EXISTS dw_orders_his_tmp;
CREATE TABLE dw_orders_his_tmp AS 
SELECT orderid,
createtime,
modifiedtime,
status,
dw_start_date,
dw_end_date 
FROM (
    SELECT a.orderid,
    a.createtime,
    a.modifiedtime,
    a.status,
    a.dw_start_date,
    CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > '2019-08-21' THEN '2019-08-20' ELSE a.dw_end_date END AS dw_end_date 
    FROM dw_orders_his a 
    left outer join (SELECT * FROM ods_orders_inc WHERE day = '2019-08-21') b 
    ON (a.orderid = b.orderid) 
    UNION ALL 
    SELECT orderid,
    createtime,
    modifiedtime,
    status,
    modifiedtime AS dw_start_date,
    '9999-12-31' AS dw_end_date 
    FROM ods_orders_inc 
    WHERE day = '2019-08-21' 
) x 
ORDER BY orderid,dw_start_date;

最后把临时表中数据插入历史表：

INSERT overwrite TABLE dw_orders_his
SELECT * FROM dw_orders_his_tmp;

查看拉链表数据：

+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| dw_orders_his.orderid  | dw_orders_his.createtime  | dw_orders_his.modifiedtime  | dw_orders_his.status  | dw_orders_his.dw_start_date  | dw_orders_his.dw_end_date  |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| 1                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 9999-12-31                 |
| 2                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 9999-12-31                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-19                   | 2019-08-20                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-19                   | 2019-08-20                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-21                   | 9999-12-31                 |
| 5                      | 2019-08-19                | 2019-08-20                  | 支付                    | 2019-08-19                   | 9999-12-31                 |
| 6                      | 2019-08-20                | 2019-08-20                  | 创建                    | 2019-08-20                   | 9999-12-31                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-20                   | 2019-08-20                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 8                      | 2019-08-21                | 2019-08-21                  | 创建                    | 2019-08-21                   | 9999-12-31                 |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+

将2019-08-22的增量数据刷新到历史表:


第一步，通过增量抽取，将2019-08-22的数据抽取到ODS：


INSERT overwrite TABLE ods_orders_inc PARTITION (day = '2019-08-22') 
SELECT orderid,createtime,modifiedtime,status 
FROM orders_20190822
WHERE createtime = '2019-08-22' OR modifiedtime = '2019-08-22';


第二步，通过DW历史数据(数据日期为2019-08-21)，和ODS增量数据(2019-08-22)


DROP TABLE IF EXISTS dw_orders_his_tmp;
CREATE TABLE dw_orders_his_tmp AS 
SELECT orderid,
createtime,
modifiedtime,
status,
dw_start_date,
dw_end_date 
FROM (
    SELECT a.orderid,
    a.createtime,
    a.modifiedtime,
    a.status,
    a.dw_start_date,
    CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > '2019-08-22' THEN '2019-08-21' ELSE a.dw_end_date END AS dw_end_date 
    FROM dw_orders_his a 
    left outer join (SELECT * FROM ods_orders_inc WHERE day = '2019-08-22') b 
    ON (a.orderid = b.orderid) 
    UNION ALL 
    SELECT orderid,
    createtime,
    modifiedtime,
    status,
    modifiedtime AS dw_start_date,
    '9999-12-31' AS dw_end_date 
    FROM ods_orders_inc 
    WHERE day = '2019-08-22' 
) x 
ORDER BY orderid,dw_start_date;
 

第三步：最后把临时表中数据插入历史表：


INSERT overwrite TABLE dw_orders_his 
SELECT * FROM dw_orders_his_tmp;

刷新完后历史表数据如下：

hive> select * from dw_orders_his order by orderid,dw_start_date;


+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| dw_orders_his.orderid  | dw_orders_his.createtime  | dw_orders_his.modifiedtime  | dw_orders_his.status  | dw_orders_his.dw_start_date  | dw_orders_his.dw_end_date  |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| 1                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 2019-08-21                 |
| 1                      | 2019-08-18                | 2019-08-22                  | 支付                    | 2019-08-22                   | 9999-12-31                 |
| 2                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 2019-08-21                 |
| 2                      | 2019-08-18                | 2019-08-22                  | 完成                    | 2019-08-22                   | 9999-12-31                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-19                   | 2019-08-20                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-19                   | 2019-08-20                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-21                   | 9999-12-31                 |
| 5                      | 2019-08-19                | 2019-08-20                  | 支付                    | 2019-08-19                   | 9999-12-31                 |
| 6                      | 2019-08-20                | 2019-08-20                  | 创建                    | 2019-08-20                   | 2019-08-21                 |
| 6                      | 2019-08-20                | 2019-08-22                  | 支付                    | 2019-08-22                   | 9999-12-31                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-20                   | 2019-08-20                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 8                      | 2019-08-21                | 2019-08-21                  | 创建                    | 2019-08-21                   | 2019-08-21                 |
| 8                      | 2019-08-21                | 2019-08-22                  | 支付                    | 2019-08-22                   | 9999-12-31                 |
| 9                      | 2019-08-22                | 2019-08-22                  | 创建                    | 2019-08-22                   | 9999-12-31                 |
| 10                     | 2019-08-22                | 2019-08-22                  | 支付                    | 2019-08-22                   | 9999-12-31                 |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+

查看2019-08-21的历史快照数据：

select * from dw_orders_his where dw_start_date <= '2019-08-21' and dw_end_date >= '2019-08-21';


+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| dw_orders_his.orderid  | dw_orders_his.createtime  | dw_orders_his.modifiedtime  | dw_orders_his.status  | dw_orders_his.dw_start_date  | dw_orders_his.dw_end_date  |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+
| 1                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 2019-08-21                 |
| 2                      | 2019-08-18                | 2019-08-18                  | 创建                    | 2019-08-18                   | 2019-08-21                 |
| 3                      | 2019-08-19                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 4                      | 2019-08-19                | 2019-08-21                  | 完成                    | 2019-08-21                   | 9999-12-31                 |
| 5                      | 2019-08-19                | 2019-08-20                  | 支付                    | 2019-08-19                   | 9999-12-31                 |
| 6                      | 2019-08-20                | 2019-08-20                  | 创建                    | 2019-08-20                   | 2019-08-21                 |
| 7                      | 2019-08-20                | 2019-08-21                  | 支付                    | 2019-08-21                   | 9999-12-31                 |
| 8                      | 2019-08-21                | 2019-08-21                  | 创建                    | 2019-08-21                   | 2019-08-21                 |
+------------------------+---------------------------+-----------------------------+-----------------------+------------------------------+----------------------------+--+

将2019-08-23的增量数据刷新到历史表方法跟步骤跟上述一样，不再赘述。

yimenglin
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓基础·拉链表
正趣果上果
08-04 1457
数仓基础·拉链表1、真实场景下的拉链表 1、真实场景下的拉链表 在数据仓库的ODS层，有一张订单的增量数据表，按天分区，存放每天的增量数据 在数据仓库的DW层，有一张订单的历史数据拉链表，存放订单的历史状态数据 DROP TABLE IF EXISTS t_dw_orders_his_tmp; CREATE TABLE t_dw_orders_his_tmp AS SELECT orderid, createtime, modifiedtime, status, dw_start_date, dw_e
数据仓库中的拉链表-Clickhouse实现.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题（纵向扩展），但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。
数据仓库之拉链表
最新发布
youziguo的专栏
06-11 582
数据仓库中的拉链表（也称为历史表或慢速变化维度表）是一种设计模式，用于记录维度表中数据的历史变化。拉链表通过记录每次变化的数据快照，保留了完整的历史信息，可以用于追溯分析和历史数据查询。
拉链表的介绍和使用
lijian972的博客
03-23 4409
数据建模中dwd层拉链表的介绍和使用
大数据技术之Hive（五）拉链表的设计与实现
five小点心的博客
03-06 1865
针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。所以这种表，一般使用增量的方式，每日采集新增的数据。在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支付，但是Hive是不支持数据更新的，这样虽然MySQL中订单的状态改变了，但是Hive中订单的状态还是之前的状态。想要解决这个问题，一般有这么几种方案：每天全量导入订单表的数据。
数据仓库-拉链表, 流水表, 全量表, 增量表, 切片表
热门推荐
迷路剑客个人博客
05-18 1万+
数据仓库-拉链表，流水表，全量表，增量表 转载声明 本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： 数据仓库中的增量表，全量表，快照表，拉链表 作者：北京小辉 出处：csdn 什么是全量表，增量表，快照表，拉链表？ 作者：泽米 出处：csdn 一文搞定数据仓库之拉链表，流水表，全量表，增量表 作者：mtj66 出处：csdn 数据仓库中的全量表，增量表，拉链表，流水表及快照表 作者：大数据私房菜 出处：csdn 1 增量表 1.1 概念 增量表：新增数
Greenplum数据仓库设计规范1
08-04
数据仓库通常按照ODS（数据接入层）、CDM（公共数据层）、DWD（数据明细层）、DWS（数据汇总层）、DWH（历史数据层）、ZT（拉链层）、AC（归档层）等层次进行组织。每个层次有特定的功能，如ODS层主要存放原始数据，...
拉链表的使用.docx
08-31
拉链表是一种数据存储方式，在数据仓库中记录数据在某一时间区间内的状态以及数据在某一时间点上的数据变化。拉链技术的出现是为了解决数据仓库中大量重复冗余数据的问题。通过使用拉链表，既可以节约存储空间，又...
自动生成拉链程序.rar_仓库 拉链 VBA
09-19
7. **数据集成**：拉链程序可能涉及到从多个源（如不同表或时间段）整合数据，确保一致性并准备进行深度分析。 8. **接口设计**：Excel工作簿中的用户界面可能包含按钮和表单，用户通过这些元素触发VBA宏，直观地...
数仓--全量表，增量表，拉链表，流水表，快照表
qq_46893497的博客
12-06 3158
一、存量、流量及增量 （1）存量：系统在某一时点时的所保有的数量； （2）流量：是指在某一段时间内流入/出系统的数量 （3）增量：则是指在某一段时间内系统中保有数量的变化 （4）增量=流入量-流出量 （5）本期期末存量=上期期末存量+本期内增量 二、全量表 每天的所有的最新状态的数据 （1）全量表，有无变化，都要报 （2）每次上报的数据都是所有的数据（变化的 + 没有变化的） 三、增量表 新增数据，增量数据是上次导出之后的新数据 （1）记录每次增加的量，而不是总量； （2）流量是指在一定时间内的增量； （3
数仓中的全量表，增量表，拉链表，流水表，快照表 机会终于来了系列
留歌__36的博客
12-08 3471
写在前面 先简单说明一下这几种表形态的定义： 全量表：每天的所有写最新状态的数据 1、有无变化，都要报 2、每次上报的数据都是所有的数据（变化的+没有变化的） 增量表：新增的数据 1、增量表，只报变化量，无变化不用报 拉链表： 1、记录一个事物从开始，一直到当前状态的所有变化的信息 2、拉链表每次上报的都是历史记录的最终状态，是记录在当前时候的历史总量 流水表：对于表的每一个修改都会记录，可以用户反映实际记录的变更 1、拉链表通常是对账户信息的历史变动进行处理保留的结果，流水表是对每天的交
汇总表随着明细表变化_【续】全量、增量、流水、拉链、快照、代理键、缓慢变化维...
weixin_39816141的博客
12-11 3406
这是我的第69篇原创昨天没说完，今天继续哈。一样是很枯燥的数据仓库名词和使用场景的解释。适合对数仓感兴趣的同学食用。昨天简单讲了一下表的相关名称解释，缺一个位图表。其实位图(bitmap)之前说过，详见：10亿用户量，连续7天登录的用户标签该怎么打？今天继续聊。字段相关名词解释字段相关名词解释：自然键、业务主键、自增主键、代理键、时间戳、管理标识。自然键其实就是已有标准的各种ID，比如身...
关于数仓的DWD层的讲解和拉链表讲解以及进行JOIN优化
weixin_50479099的博客
06-07 3633
在数仓的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在DWB JOIN表的时候进行的优化防止数据倾斜
大数据可视化需要遵循哪几个核心原则
中琛魔方大数据
09-08 794
　　大数据可视化至今已走过漫长的历程。如今由于大数据思潮的到来和人们关于数据使用的讨论，一种新的设计语言正在兴起，它可以优美地将大数据中的繁杂简化成既美观又富有意义的可视化图形。 　　大数据可视化需要遵循哪几个核心原则？ 　　1.理解数据源 　　确保了解你工作的数据。这是理解数据至关重要的第一步。你需要对宏观的全局有所理解：为什么收集这些数据?公司对于这些数据赋予什么样的价值?用户是谁?如何能让数据作用最大化?深入理解这些问题，能为创造出既有意义又人性化的可视化信息，打下重要的基础。...
数仓历史拉链表
haungtan07的博客
05-27 532
关键字：数据仓库、极限存储、历史拉链表、更新 使用这种方式即可以记录历史，而且最大程度的节省存储。这里简单介绍一下这种历史拉链表的更新方法。 本文中假设： 数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据； 如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史； 订单状态包括三个：创建、支付、完成； 创建时间和修改时间只取到天，如果源订单表中没有状态修改时间，那么抽取增量就比较麻烦，需要有个机制来确保能抽取到每天的增量数据； 本文中的表和SQL都使用Hive的HQL语
拉链表详解
Xiayebuliang的博客
03-05 9586
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理
大数据星球-浪尖
01-14 1957
数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六...
数据仓库拉链表：存储与优化
数据仓库拉链表的设计旨在高效地存储和追踪数据的变化，从而节省存储空间并记录数据的历史演变。 1. **数据仓库特点**： 数据仓库的主要目的是提供决策支持，它通常包含来自多个业务系统的整合数据，并且强调数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值