数据仓库拉链表回滚实现及本质

最新推荐文章于 2024-07-06 02:22:49 发布
最新推荐文章于 2024-07-06 02:22:49 发布
阅读量2.6k 收藏 18
点赞数 1
分类专栏： 离线数据仓库相关 文章标签： 大数据 数据仓库 拉链表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39437513/article/details/111442771
版权

问题背景：拉链表如果有一天的数据错了，比如说到12月15号，但是发现11月10号拉链的数据错了，导致后续拉链的结果都错了，这个应该怎么修正拉链表的回滚问题？

希望大家可以关注下公众号，支持一下，鞠躬感谢~
在这里插入图片描述

修正拉链表回滚问题本质就是：
其实目的就是找到历史的快照。
历史的快照可以根据起始更新时间，那你就找endtime小于你出错的数据就行了，出错日期的数据就行了。
重新导入数据，将原始拉链表数据过滤到指定日期之前即可。
举例：
拉链表dwd_userinfo_db,目前时间是2020-12-15，想回滚到2020-11-27,那么拉链表的状态得是2020-11-26

userid		starttime		endtime
1			2020-11-12		2020-11-
最低0.47元/天 解锁文章
一文探究数据仓库体系(2.7万字建议收藏)
我的祖传代码
10-19 3149
​ 一什么是数据仓库 1.1数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 1.2数据仓库特点 1.2.1面向主题 普通的操作型数据库主要面向事务性处理，而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象，是从较高层次上对信息系统中的数据进行归纳和整理。 面向主题的数据可以划分成两部分--...
数据仓库全流程
热门推荐
莫慌 吃口药
10-14 1万+
数仓建设的思路流程： 1梳理业务流程 2梳理数据流 3数据类型、存储介质、样例数据 4需求-功能性需求、非功能性需求(性能、时效性) -------------------------------------数据来源 rdbms log nginx httpsthird api mongoDB ：第三方数据http请求，访问第三方API， 第三...
CC00051.pbpositions——|Hadoop&PB级数仓.V09|——|PB数仓.v09|拉链表实现|拉链表回滚|
yanqi_vip
04-10 185
一、拉链表的回滚：数据 ### --- 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： ~~~ # 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： 001 13551111111 2020-03-01 2020-06-20 9999-12-31 002 1356...
拉链表回滚
不爱吃鱼的馋猫
12-18 847
拉链表dwd_userinfo_db,目前时间是2020-12-15，想回滚到2020-11-27,那么拉链表的状态得是2020-11-26 userid starttime endtime 1 2020-11-12 2020-11-26 1 2020-11-27 9999-99-99 2 2020-11-16 2020-12-13sql 拉链表回滚：过滤starttime<=2020-11-26的数据，将endtime>=2020-11-26的修改为9999-99-9
拉链表--实现、更新及回滚的具体实现
m0_51063580的博客
11-30 1767
1 背景 　　本文前面的内容时参考了'lxw的大数据田地',具体可查看最后的'参考文章'，个人加入了'拉链表的回滚'部分的内容sql，如果有实践的，可以互相交流学习，谢谢 　　在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 　　　　1.1 数据量比较大; 　　　　1.2表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 　　　　1.3 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时.
拉链表--实现、更新及回滚的具体实现（ 转载）
weixin_33951761的博客
08-21 529
　　https://www.cnblogs.com/zuifangxiu/articles/6475179.html 　　https://blog.csdn.net/mtj66/article/details/78019370
数据仓库理论知识
默主归沙的博客
06-06 3838
通常数据仓库的数据来自各个业务应用系统。业务系统中的数据形式多种多样，可能是 Oracle、MySQL、SQL Server 等关系数据库里的结构化数据，可能是文本、CSV 等平面文件或 Word、Excel 文档中的数据，还可能是 HTML、XML 等自描 述的半结构化数据。这些业务数据经过一系列的数据抽取、转换、清洗，最终以一种统一的格式装载进数据仓库。数据仓库里的数据作为分析用的数据源，提供给后面的即席查询、 分析系统、数据集市、报表系统、数据挖掘系统等。这时我们就想了，为什么不能把业务系统的数据直接
数仓体系与数据治理全集
weixin_44687655的博客
04-06 3625
数据仓库（Data Warehouse），可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。
大数据开发---数仓拉链表概述，以及如何迭代或者回滚
Hoult丶吴邪
12-13 947
1.背景 拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。 SCD的常用处理方式有以下几种： 保留原值 直接覆盖 增加新属性列 快照表 拉链表 本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。 1.表数据量较大，用全量表会占用很多存储 2.表数据会有修改，用增量表，难以处理重复且修改数据 3.有
用拉链表实现核心交易分析中DIM层商家维表，并实现该拉链表的回滚
qq_37022492的博客
07-14 429
一、创建表并加载数据 1、创建商家维表 drop table if exists dim.dim_trade_shops_org; create table dim.dim_trade_shops_org( shopid int COMMENT '商家id', shopName string COMMENT '商家名称', cityId int COMMENT '城市id', cityName string COMMENT '城市名称', regionId int COMMENT '地域id'
Oracle数据库单表回滚
北冥有雨
11-26 3548
单表记录回滚到指定时间，在进行数据回滚前，也可以通过命令查看回滚时间点前的数据情况，语句如下： select * from 表名 as of timestamp to_timestamp('2019-11-26 15:02:00', 'yyyy-mm-dd hh24:mi:ss'); 接下来就是进行数据回滚操作了。 （1）开启闪回，如果不开启无法进行闪回 alter table 表名 ena...
oracle拉链表怎么回滚,拉链表的操作技巧——拆分与合并
weixin_39712016的博客
04-11 446
本文主要是结合我平时遇到的一些问题，分析一下Oracle数据库中拉链表的一些非常规操作，即将多个拉链表合并和将有多个属性的拉链表拆分。为此我将从拉链表的设计思路和常规操作，开始逐渐分析。定义拉链表是一种数据库设计模式，类似于面向对象的23种设计模式，可以直接套用，经常用于储存历史数据和分析时间维度的数据。关键点：储存开始时间和结束时间。开始时间和结束时间首尾相接，形成链式结构。拉链表与Linked...
oracle 表数据回滚方法
java_probie的博客
12-13 2879
【代码】oracle 表数据回滚方法。
数据仓库拉链表
qq_38914431的博客
09-22 618
拉链表缓慢变化维保留原始值直接覆盖增加新的属性列快照表拉链表拉链表应用测试数据拉链表实现拉链表数据回滚周期性事拉链表测试数据周期性事实拉链表实现 文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。 记录一下数据仓库学习笔记，第一次接触数据仓库，这里记录一下拉链表，下面实现基于Hadoop、Hive。 缓慢变化维 观察的维度事实表数据随时间变化变化缓慢。处理维度表的历史变化信息的问题称为处理缓慢变化维的问题，简称SCD问题 保留原始值 数据的维度属性值不做更改，保留原始值 如商品在商场上架售卖的时
oracle表回滚到一个指定时间的操作语句
Maybe
11-03 612
alter table 表名 enable row movement; flashback table 表名 to timestamp to_timestamp('2011-03-04 05:00:00','yyyy-mm-dd HH24:MI:SS');   时间为需要恢复到的时间节点 注意：表闪回可在直接在open状态下操作 scn查找某一点的SCN：select
MySQL怎么全局把一张表的数据回滚
最新发布
weixin_40857680的博客
07-06 972
在数据库管理中，回滚操作是至关重要的功能之一。当我们执行了错误的操作，或者需要将数据恢复到某个之前的状态时，回滚操作可以帮助我们避免数据丢失和错误传播。本文将详细探讨在MySQL中如何全局回滚一张表的数据，包括使用事务、备份与恢复、触发器等多种方法，并提供相应的代码示例和详细说明。引言在日常的数据库管理中，难免会遇到各种错...
历史拉链表混乱日期跑批的个别数据重跑方案
nisjlvhudy的专栏
01-31 6101
--接文：《仓库拉链算法的数据恢复机制(重跑中间任意一天保证数据的准确完整性) 》；参考博文地址：http://blog.csdn.net/nsj820/article/details/6096682 本文是在《仓库拉链算法的数据恢复机制(重跑中间任意一天保证数据的准确完整性) 》基础上，对仓库拉链算法的进一步思考；描述了历史拉链表个别数据需要重跑的解决方案。 思考：原文曾说还未考虑用此种方法
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值