拉链表--实现、更新及回滚的具体实现

最新推荐文章于 2024-02-01 15:46:26 发布
最新推荐文章于 2024-02-01 15:46:26 发布
阅读量2.6k 收藏 15
点赞数
分类专栏： 数据仓库 文章标签： 拉链表

1 背景

　　本文前面的内容时参考了'lxw的大数据田地',具体可查看最后的'参考文章'，个人加入了'拉链表的回滚'部分的内容sql，如果有实践的，可以互相交流学习，谢谢

　　在数据仓库的数据模型设计过程中，经常会遇到这样的需求：

　　　　1.1 数据量比较大;

　　　　1.2 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;

　　　　1.3 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等;

　　　　1.4 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;

　　综上所述：引入'拉链历史表'，既能满足反应数据的历史状态，又可以最大程度的节省存储;

 

2 具体表结构

　　2.1 例如

　　　　有一张订单表,6月20号有3条记录：

　　

订单创建日期订单编号订单状态
2012-06-20001创建订单
2012-06-20002创建订单
2012-06-20003支付完成

 

　　　　到6月21日，表中有5条记录：

　　

订单创建日期订单编号订单状态
2012-06-20001支付完成（从创建到支付）
2012-06-20002创建订单
2012-06-20003支付完成
2012-06-21004创建订单
2012-06-21005创建订单

 

　　　　到6月22日，表中有6条记录：

　　

订单创建日期订单编号订单状态
2012-06-20001支付完成（从创建到支付）
2012-06-20002创建订单
2012-06-20003已发货（从支付到发货）
2012-06-21004创建订单
2012-06-21005支付完成（从创建到支付）
2012-06-22006创建订单

 

　　2.2 常用的解决方案以及存在的问题：

　　　　1 快照表：只保留一份全量，则数据和6月22日的记录一样，如果需要查看6月21日订单001的状态，则无法满足；

　　　　2 全量历史表：每天都保留一份全量，则数据仓库中的该表共有14条记录，但好多记录都是重复保存，没有任务变化，如订单002,004，数据量大了，会造成很大的存储浪费；

 

　　2.3 如果在数据仓库中设计成历史拉链表保存该表，则会有下面这样一张表：

　　

订单创建日期订单编号订单状态dw_begin_datedw_end_date
2012-06-20001创建订单2012-06-202012-06-20
2012-06-20001支付完成2012-06-219999-12-31
2012-06-20002创建订单2012-06-209999-12-31
2012-06-20003支付完成2012-06-202012-06-21
2012-06-20003已发货2012-06-229999-12-31
2012-06-21004创建订单2012-06-219999-12-31
2012-06-21005创建订单2012-06-212012-06-21
2012-06-21005支付完成2012-06-229999-12-31
2012-06-22006创建订单2012-06-229999-12-31

 　　　　说明：

　　　　　　2.3.1 dw_begin_date表示该条记录的生命周期开始时间（周期快照时的状态），dw_end_date表示该条记录的生命周期结束时间；

　　　　　　2.3.2 dw_end_date = '9999-12-31'表示该条记录目前处于有效状态；

　　　　　　2.3.3 如果查询当前所有有效的记录，则select * from order_his where dw_end_date = '9999-12-31'

　　　　　　2.3.4 如果查询2012-06-21的历史快照，则select * from order_his where dw_begin_date <= '2012-06-21' and end_date >='2012-06-21'，这条语句会查询到以下记录：

　　

订单创建日期订单编号订单状态dw_begin_datedw_end_date
2012-06-20001支付完成2012-06-219999-12-31
2012-06-20002创建订单2012-06-209999-12-31
2012-06-20003支付完成2012-06-202012-06-21
2012-06-21004创建订单2012-06-219999-12-31
2012-06-21005创建订单2012-06-212012-06-21

 　　　　　　　　

　　　　　　　　和源表在6月21日的记录完全一致：

　　

订单创建日期订单编号订单状态
2012-06-20001支付完成（从创建到支付）
2012-06-20002创建订单
2012-06-20003支付完成
2012-06-21004创建订单
2012-06-21005创建订单

 　　　　　　

　　　　　　　　可以看出，这样的历史拉链表，既能满足对历史数据的需求，又能很大程度的节省存储资源；

 

3 拉链表更新方案

　　假设：

　　　　3.1 前提：

　　　　　　3.1.1 数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；

　　　　　　3.1.2 如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；

　　　　　　3.1.3 订单状态包括三个：创建、支付、完成；

　　　　　　3.1.4 创建时间和修改时间只取到天，如果源订单表中没有状态修改时间，那么抽取增量就比较麻烦，需要有个机制来确保能抽取到每天的增量数据；

　　　　　　　　-- 例如DB中的binlog解析，或者通过sqoop同步，只同步有过修改的数据(新增 or 修改)

　　　　　　3.1.5 本文中的表和SQL都使用Hive的HQL语法；

　　　　　　3.1.6 源系统中订单表结构为：

　　　　　　　　

　　　　　　　　CREATE TABLE orders (
　　　　　　　　　　orderid INT,
　　　　　　　　　　createtime STRING,
　　　　　　　　　　modifiedtime STRING,
　　　　　　　　　　status STRING
　　　　　　　　) stored AS textfile;

 

　　　　3.2 在数据仓库的ODS层，有一张订单的增量数据表，按天分区，存放每天的增量数据：

复制代码

　　　　　　CREATE TABLE t_ods_orders_inc (
　　　　　　　　orderid INT,
　　　　　　　　createtime STRING,　　
　　　　　　　　modifiedtime STRING,
　　　　　　　　status STRING
　　　　　　) PARTITIONED BY (day STRING)
　　　　　　stored AS textfile;

复制代码

 

　　　　3.3 在数据仓库的DW层，有一张订单的历史数据拉链表，存放订单的历史状态数据：

　　　　　　

复制代码

            CREATE TABLE t_dw_orders_his (
　　　　　　　　orderid INT,
　　　　　　　　createtime STRING,　　
　　　　　　　　modifiedtime STRING,
　　　　　　　　status STRING,
　　　　　　　　dw_start_date STRING,
　　　　　　　　dw_end_date STRING
　　　　　　) stored AS textfile;

复制代码

 

 

　　　　3.4 2015-08-21至2015-08-23，每天原系统订单表的数据如下，红色标出的为当天发生变化的订单，即增量数据：

　　　　　　历史拉链表

　　　　　　历史拉链表

　　　　　　历史拉链表

　　

　　3.5 具体步骤：

　　　　在数据从源业务系统每天正常抽取和刷新到DW订单历史表之前，需要做一次全量的初始化，就是从源订单表中昨天以前的数据全部抽取到ODW，并刷新到DW。

　　　　以上面的数据为例，比如在2015-08-21这天做全量初始化，那么我需要将包括2015-08-20之前的所有的数据都抽取并刷新到DW：

　　　　3.5.1 抽取全量数据到ODS：

INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = ‘2015-08-20′)
SELECT orderid,createtime,modifiedtime,status
FROM orders
WHERE createtime <= ‘2015-08-20′;

 

　　　　3.5.2 从ODS刷新到DW：

INSERT overwrite TABLE t_dw_orders_his
SELECT orderid,createtime,modifiedtime,status,
createtime AS dw_start_date,
‘9999-12-31′ AS dw_end_date
FROM t_ods_orders_inc
WHERE day = ‘2015-08-20′;

　　　　　　完成后，DW订单历史表中数据如下：

复制代码

spark-sql> select * from t_dw_orders_his;
1 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
2 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
3 2015-08-19 2015-08-21 支付 2015-08-19 9999-12-31
4 2015-08-19 2015-08-21 完成 2015-08-19 9999-12-31
5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
6 2015-08-20 2015-08-20 创建 2015-08-20 9999-12-31
7 2015-08-20 2015-08-21 支付 2015-08-20 9999-12-31
Time taken: 2.296 seconds, Fetched 7 row(s)

复制代码

 

　　3.5.3 增量抽取

　　　　每天，从源系统订单表中，将前一天的增量数据抽取到ODS层的增量数据表。
　　　　这里的增量需要通过订单表中的创建时间和修改时间来确定：

INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = '${day}')
SELECT orderid,createtime,modifiedtime,status
FROM orders
WHERE createtime = '${day}' OR modifiedtime = '${day}';

　　　　注意：在ODS层按天分区的增量表，最好保留一段时间的数据，比如半年，为了防止某一天的数据有问题而回滚重做数据。

 

　　3.5.4 增量刷新历史数据

　　　　从2015-08-22开始，需要每天正常刷新前一天（2015-08-21）的增量数据到历史表。

　　　　3.5.4.1 通过增量抽取，将2015-08-21的数据抽取到ODS：

INSERT overwrite TABLE t_ods_orders_inc PARTITION (day = '2015-08-21')
SELECT orderid,createtime,modifiedtime,status
FROM orders
WHERE createtime = '2015-08-21' OR modifiedtime = '2015-08-21';

 

　　　　　　ODS增量表中2015-08-21的数据如下：

  1. spark-sql> select * from t_ods_orders_inc where day = '2015-08-21';
3 2015-08-19 2015-08-21 支付 2015-08-21
4 2015-08-19 2015-08-21 完成 2015-08-21
7 2015-08-20 2015-08-21 支付 2015-08-21
8 2015-08-21 2015-08-21 创建 2015-08-21
Time taken: 0.437 seconds, Fetched 4 row(s)

     

　　　　3.5.4.2 通过DW历史数据(数据日期为2015-08-20)，和ODS增量数据(2015-08-21)，刷新历史表：

先把数据放到一张临时表中：

  1. 复制代码

    DROP TABLE IF EXISTS t_dw_orders_his_tmp;
CREATE TABLE t_dw_orders_his_tmp 
AS
SELECT 
orderid,
createtime,
modifiedtime,
status,
dw_start_date,
dw_end_date
FROM 
(SELECT 
a.orderid,
a.createtime,
a.modifiedtime,
a.status,
a.dw_start_date,
CASE WHEN b.orderid IS NOT NULL AND a.dw_end_date > '2015-08-21' THEN '2015-08-20' ELSE a.dw_end_date END AS dw_end_date
FROM t_dw_orders_his a
left outer join (SELECT * FROM t_ods_orders_inc WHERE day = '2015-08-21') b
ON (a.orderid = b.orderid)

UNION ALL

SELECT 
orderid,
createtime,
modifiedtime,
status,
modifiedtime AS dw_start_date,
'9999-12-31' AS dw_end_date
FROM t_ods_orders_inc
WHERE day = '2015-08-21'
) x
ORDER BY orderid,dw_start_date;

    复制代码

     其中：　　

　　　　UNION ALL的两个结果集中，第一个是用历史表left outer join 日期为 ${yyy-MM-dd} 的增量，能关联上的，并且dw_end_date > ${yyy-MM-dd}，说明状态有变化，则把原来的dw_end_date置为(${yyy-MM-dd} – 1), 关联不上的，说明状态无变化，dw_end_date无变化。
　　　　第二个结果集是直接将增量数据插入历史表。

 

　　　3.5.5 最后把临时表中数据插入历史表：

INSERT overwrite TABLE t_dw_orders_his
SELECT * FROM t_dw_orders_his_tmp;

 

　　　　刷新完后，历史表中数据如下：

  1. 复制代码

    spark-sql> select * from t_dw_orders_his order by orderid,dw_start_date;
1 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
2 2015-08-18 2015-08-18 创建 2015-08-18 9999-12-31
3 2015-08-19 2015-08-21 支付 2015-08-19 2015-08-20
3 2015-08-19 2015-08-21 支付 2015-08-21 9999-12-31
4 2015-08-19 2015-08-21 完成 2015-08-19 2015-08-20
4 2015-08-19 2015-08-21 完成 2015-08-21 9999-12-31
5 2015-08-19 2015-08-20 支付 2015-08-19 9999-12-31
6 2015-08-20 2015-08-20 创建 2015-08-20 9999-12-31
7 2015-08-20 2015-08-21 支付 2015-08-20 2015-08-20
7 2015-08-20 2015-08-21 支付 2015-08-21 9999-12-31
8 2015-08-21 2015-08-21 创建 2015-08-21 9999-12-31
Time taken: 0.717 seconds, Fetched 11 row(s)

    复制代码

     由于在2015-08-21做了8月20日以前的数据全量初始化，而订单3、4、7在2015-08-21的增量数据中也存在，因此都有两条记录，但不影响后面的查询。

 

4 拉链表回滚

　　4.1 具体操作方案

　　　　假设恢复到t天之前的数据，即未融合t天数据之前的拉链表，假设标记的开始日期和结束日期分别为s、t，具体分析如下：

1 当t-1>e时，s数据、e数据在t天之前产生，保留即可
2 当t-1=e时，e数据在t天产生，需修改
3 当s<t<=e时，e数据在t+n天产生，需修改
4 当s>=t时，s数据、e数据在t+n天产生，删除即可

　　　　具体例子：

复制代码

spark-sql> select * from t_dw_orders_his order by orderid,dw_start_date;
1       2015-08-18      2015-08-18      创建    2015-08-18      2015-08-21
1       2015-08-18      2015-08-22      支付    2015-08-22      2015-08-22
1       2015-08-18      2015-08-23      完成    2015-08-23      9999-12-31
2       2015-08-18      2015-08-18      创建    2015-08-18      2015-08-21
2       2015-08-18      2015-08-22      完成    2015-08-22      9999-12-31
3       2015-08-19      2015-08-21      支付    2015-08-19      2015-08-20
3       2015-08-19      2015-08-21      支付    2015-08-21      2015-08-22
3       2015-08-19      2015-08-23      完成    2015-08-23      9999-12-31
4       2015-08-19      2015-08-21      完成    2015-08-19      2015-08-20
4       2015-08-19      2015-08-21      完成    2015-08-21      9999-12-31
5       2015-08-19      2015-08-20      支付    2015-08-19      2015-08-22
5       2015-08-19      2015-08-23      完成    2015-08-23      9999-12-31
6       2015-08-20      2015-08-20      创建    2015-08-20      2015-08-21
6       2015-08-20      2015-08-22      支付    2015-08-22      9999-12-31
7       2015-08-20      2015-08-21      支付    2015-08-20      2015-08-20
7       2015-08-20      2015-08-21      支付    2015-08-21      9999-12-31
8       2015-08-21      2015-08-21      创建    2015-08-21      2015-08-21
8       2015-08-21      2015-08-22      支付    2015-08-22      2015-08-22
8       2015-08-21      2015-08-23      完成    2015-08-23      9999-12-31
9       2015-08-22      2015-08-22      创建    2015-08-22      9999-12-31
10      2015-08-22      2015-08-22      支付    2015-08-22      9999-12-31
11      2015-08-23      2015-08-23      创建    2015-08-23      9999-12-31
12      2015-08-23      2015-08-23      创建    2015-08-23      9999-12-31
13      2015-08-23      2015-08-23      支付    2015-08-23      9999-12-31　

复制代码

　　　　比如在插入2015-08-23的数据后，回滚2015-08-22的数据，使拉链表与2015-08-21的一致，具体操作过程如下

复制代码

1 增加临时表t_dw_orders_his_tmp1，用来记录t-1>e的数据
CREATE TABLE t_dw_orders_his_tmp1
AS
SELECT 
　　orderid,
　　createtime,
　　modifiedtime,
　　status,
　　dw_start_date,
　　dw_end_date
FROM 
　　t_dw_orders_his
WHERE 
　　dw_end_date < '2015-08-21'
3       2015-08-19      2015-08-21      支付    2015-08-19      2015-08-20
4       2015-08-19      2015-08-21      完成    2015-08-19      2015-08-20
7       2015-08-20      2015-08-21      支付    2015-08-20      2015-08-20
 


2 增加临时表t_dw_orders_his_tmp2，用来记录t-1=e的数据 
CREATE TABLE t_dw_orders_his_tmp2 
AS 
SELECT 　　
　　orderid,
　　createtime, 　　
　　modifiedtime, 　　
　　status, 　　
　　dw_start_date, 　　
　　'9999-12-31' AS dw_end_date 
FROM 
　　t_dw_orders_his
WHERE 
　　dw_end_date = '2015-08-21'
1       2015-08-18      2015-08-18      创建    2015-08-18      9999-12-31
2       2015-08-18      2015-08-18      创建    2015-08-18      9999-12-31
6       2015-08-20      2015-08-20      创建    2015-08-20      9999-12-31
8       2015-08-21      2015-08-21      创建    2015-08-21      9999-12-31
 
3 增加临时表t_dw_orders_his_tmp3，用来记录s<t<=e的数据
CREATE TABLE t_dw_orders_his_tmp3
AS
SELECT 
　　orderid,
　　createtime,
　　modifiedtime,
　　status,
　　dw_start_date,
　　'9999-12-31' dw_end_date
FROM 
　　t_dw_orders_his
WHERE 
　　dw_start_date < '2015-08-22' AND dw_end_date >= '2015-08-22'
3       2015-08-19      2015-08-21      支付    2015-08-21      9999-12-31
4       2015-08-19      2015-08-21      完成    2015-08-21      9999-12-31
5       2015-08-19      2015-08-20      支付    2015-08-19      9999-12-31
7       2015-08-20      2015-08-21      支付    2015-08-21      9999-12-31
4 所有数据插入新表t_dw_orders_his_new
CREATE TABLE t_dw_orders_his_new
AS
SELECT * FROM t_dw_orders_his_tmp1
UNION ALL
SELECT * FROM t_dw_orders_his_tmp2
UNION ALL
SELECT * FROM t_dw_orders_his_tmp3
1       2015-08-18      2015-08-18      创建    2015-08-18      9999-12-31
2       2015-08-18      2015-08-18      创建    2015-08-18      9999-12-31
3       2015-08-19      2015-08-21      支付    2015-08-19      2015-08-20
3       2015-08-19      2015-08-21      支付    2015-08-21      9999-12-31
4       2015-08-19      2015-08-21      完成    2015-08-19      2015-08-20
4       2015-08-19      2015-08-21      完成    2015-08-21      9999-12-31
5       2015-08-19      2015-08-20      支付    2015-08-19      9999-12-31 
6       2015-08-20      2015-08-20      创建    2015-08-20      9999-12-31
7       2015-08-20      2015-08-21      支付    2015-08-20      2015-08-20
7       2015-08-20      2015-08-21      支付    2015-08-21      9999-12-31
8       2015-08-21      2015-08-21      创建    2015-08-21      9999-12-31

 

复制代码

与原数据一致，验证无错

 

　　4.2 备用方案

　　　　可以采用备份的方案，保证无误和可行。（保存增量数据，并对t_dw_orders_his表每个月备份一次全量数据。如需回滚，最多重跑30天数据即可）

 

 

参考文章：

　　http://lxw1234.com/archives/2015/04/20.htm

 　  http://lxw1234.com/archives/2015/08/473.htm

guicaizhou
关注
  • 0
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
拉链表的设计与实现
Alcaibur的博客
03-09 753
拉链表应用案例
CC00051.pbpositions——|Hadoop&PB级数仓.V09|——|PB数仓.v09|拉链表实现|拉链表回滚|
yanqi_vip
04-10 149
一、拉链表的回滚：数据 ### --- 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： ~~~ # 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： 001 13551111111 2020-03-01 2020-06-20 9999-12-31 002 1356...
ta-demo:演示@EJB 回滚情况
06-26
ta-demo 这是@EJB 回滚行为的演示项目。 我添加了 TODO 标记，您可以在其中玩一些不同的设置。 #deploy 可以使用 mvn clean package 来构建项目。 它旨在用于 glassfish3。 但是它也适用于 glassfish4（您可以更改 javaee-api 版本 7）。 这是一个 netbeans 项目，因此您可以立即使用 netbeans 和 glassfish 运行它。 如果您有任何反馈，请与我联系。 享受！
emberjs-rollback-extended：EmberData关系回滚
02-06
emberjs-rollback-extended EmberJS Rollback Extended mixin最初是由amkirwan在提供的rollback-relationships.js启发的。 原始的rollback-relationship.js缺少一些功能，以及与我的应用程序集成的一些问题。 我决定分配一些开发周期来构建此回滚扩展的mixin，以提供应用程序所需的缺少的功能。 该mixin支持cascade.persist关系回退（由cascade.persist选项指定）以及自动保存。 现在，该mixin还支持cascade.remove选项，该选项将自动删除/卸载关系。
离线数仓仓库-关于拉链表
最新发布
m0_57697768的博客
02-01 667
什么是拉链表，拉链表要怎么做，拉链的弊端和好处？
微服务--分布式事务的实现方法及替代方案
02-25
事务补偿机制:在事务链中的任何一个正向事务操作,都必须存在一个完全符合回滚规则的可逆事务.CAP理论:CAP(Consistency,Availability,PartitionTolerance),阐述了一个分布式系统的三个主要方面,只能同时择其二进行实现.常见的有CP系统,AP系统.幂等性:简单的说,业务操作支持重试,不会产生不利影响.常见的实现方式:为消息额外增加唯一ID.BASE(Basicallyavaliable,softstate,eventuallyconsistent):是分布式事务实现的一种理论标准.刚性事务是指严格遵循ACID原则的事务,例如单机环境下的数据库事务.柔性事
拉链表实现及使用
se7en.shi的专栏
11-13 9014
一、概念 历史拉链表，就是记录一个事务从开始一直到当前状态的所有变化的信息，拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据的一种常见方式。 假设企业拥有1000万的会员信息，每天有20万的会员资料变更，我们需要记录所有会议的历史变化记录，并至少保留两年，该怎么办？ 储存两年就是2x365x1000万=7300000000(70亿)，如果储存...
拉链表的详细实现过程（好文点赞收藏！！）
热门推荐
CLKTOY的博客
09-24 1万+
目录1-什么是拉链表2-为什么要做拉链表2.1-如何使用拉链表3-拉链表的形成过程4-拉链表的制作过程4.1-初始化拉链表（首次独立执行）4.2-制作当日变动数据（包括新增，修改）每日执行4.3-先合并变动信息，再追加新增信息，插入到临时表中4.4-把临时表覆盖给拉链表5-总结 1-什么是拉链表 本文以订单拉链表为例进行详细讲解。 2-为什么要做拉链表 2.1-如何使用拉链表 3-拉链表的形成过程 4-拉链表的制作过程 4.1-初始化拉链表（首次独立执行） 先生成10条原始订单数据（测试数
通俗易懂：什么是拉链表
大数据的奇妙冒险
03-30 7691
按照度娘的解释：“拉链表是一种针对数据仓库设计中表存储数据的方式而定义的数据模型，它有点类似于快照，用于维护历史状态及最新状态数据。假如有张表如表1-1所示，每天的数据量大概有50w表中有些字段会被 update，如表1-2，且每天更新的数据量很小，大约只有5k有些报表需要查看历史某个日期的数据存储空间有限，需要尽可能的节约存储空间你会怎么将其装入数仓中？
拉链表详解
Xiayebuliang的博客
03-05 7972
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现
2301_76522810的博客
04-16 1604
目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表只能进行删除和添加操作，而不能进行update。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。缺点就是存储空间占用量太大太大了，如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费，这点我感触还是很深的……
三、数据仓库实践-拉链表设计
菜菜程序员
05-23 2463
由此带来了大量的存储、计算资源的开销，并且随着该表的持续膨胀，里边数据也没有清退机制，快照会越滚越大，而且还清贷款的数据，所有属性状态是不会再变动的。该场景，我们的数据起止日期（t_start_date、t_end_date）就不适用了，因为理论上，商品价格一天可能会变更多次，必须改成数据起止时间（t_start_time、t_end_time），由此带来的数据处理逻辑的变化，上边 4.4 增量更新的处理逻辑就不适用了，必须改用 4.3 历史数据初始化方式了。奥，看了好久，下边 SQL 的数据止期有问题。
ACI--创建-配置-回滚：Cisco ACI自动化脚本
02-05
ACI-创建配置回滚这个简单的脚本将在您的APIC上创建一个配置回滚点。 对于任何APIC自动化而言，它都是理想的启动模块，因为它创建了一个cookie以在所有后续POST中使用，并且如果您所做的更改不正确，则会有回滚点。...
拉链表与缓慢变化维
qq_40054339的博客
07-20 1211
通过增加开始时间字段和结束时间字段，来控制数据生命周期的表。
数据库系统原理实验——事务实验
qq_43417003的博客
10-29 1831
针对TPC-H数据库，设计几个典型的事务应用，包括显式事务、事务提交、事务回滚等。 （1）显式事务的编写 ①创建一个事务，当用户购买零件时，插入订单明细和订单记录，修改供应基本表以保持数据一致性。 ②创建一个事务，当用户撤销某个用户购买记录时，删除订单明细（假设只有一项订单明细）和订单记录，然后修改供应基本表以保持数据一致性。 （2）显式事务的编写（带有回滚） 创建一个事务，当用户购买零件时，插入订单明细（假设只购买一项明细）和订单记录，然后修改供应基本表，以保持数据一致性。
MySQL事务(三)-事务的实现(undo log-回滚日志)
星光之子的博客
09-23 883
undo log-回滚日志基本概念undo存储管理undo log格式insert undo logupdate undo logundo log阅读参考purge线程 基本概念 redo log记录了事务的行为，可以很好地通过其对页进行“redo”操作 但是事务有时还需要进行回滚操作，这时就需要undo(回滚) log 因此在对数据库进行修改时，InnoDB存储引擎不但会产生redo，还会产生一定量的undo 这样如果执行的事务或语句由于某种原因失败了，又或者用一条ROLLBACK语句请求回滚，就可以利用
[mysql系列] mysql 数据库如何实现事务回滚
qq_37393071的博客
08-20 1568
主要参考资料为：《Mysql 是怎样运行的》
拉链表设计详解
m0_46162184的博客
07-26 920
拉链表过程
增量表、全量表和拉链表
weixin_41812379的博客
05-24 4564
增量表 增量表每次记录的是周期内的新增数据，即每次将周期的新数据增加到原有的数据上。 例如，注册用户表，按照天数进行分区，每次将最新一天的注册用户记录按照最新一天的分区加到注册用户表中。 以页面访问数据表为例，假设该表从2020-06-01开始记录数据，按天更新，分区为dt。2020-06-01产生了三条访问数据，如下表： 2020-06-02首页和商详页又产生了2条访问数据，该两条即为2020-06-02新增的数据，表更新后，dt分区2020-06-02新增2条数据（标红），此时数据表如下： 以此类推，
Transactional-循环中事务单独回滚怎么写
06-08
在一个事务循环中，如果需要单独回滚某个事务，可以使用Savepoint来实现。Savepoint是在事务内部设置的一个标记点，可以在后续操作中回滚到该点。 具体实现步骤如下： 1. 在事务内部设置Savepoint ```sql ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值