拉链表回滚

最新推荐文章于 2023-04-16 22:12:46 发布
最新推荐文章于 2023-04-16 22:12:46 发布
阅读量764 收藏 6
点赞数
文章标签： 大数据 hive 数据仓库 拉链表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42716237/article/details/111351724
版权

拉链表dwd_userinfo_db,目前时间是2020-12-15，想回滚到2020-11-27,那么拉链表的状态得是2020-11-26

userid		starttime		endtime
1			2020-11-12		2020-11-26
1			2020-11-27		9999-99-99
2			2020-11-16		2020-12-13
2			2020-12-14		9999-99-99

拉链表回滚：过滤starttime<=2020-11-26的数据，将endtime>=2020-11-26的修改为9999-99-99

insert overwrite table dwd_userinfo_db
select
	userid,
	starttime,
	if(endtime>=2020-11-26,'9999-99-99',endtime)
from dwd_userinfo_db
where starttime<=2020-11-26
不爱吃鱼的馋猫
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Git代码回滚实践
01-07
Git代码回滚实践环境搭建环境试验idea示例代码回滚回滚条件创建回滚目标具体操作github地址 环境搭建 1.github上新建仓库：https://github.com/ydfind/git-test.git 2.idea从git新建两个项目，并修改提交代码的...
FAQ0001拉链表数据修复
m0_47705665的博客
06-08 1246
场景：发现某天数据错误，当天并未发现，在排查报表问题时，发现ODS拉链表有数据问题 要求：当前数据日期为2021-04-30，数据错误发生在2 解决方法：
如何在Hive中更新拉链表
机械工程跑路哥
08-28 1626
拉链表有start_time和end_time字段用来记录每条数据的生命周期；用来记录历史数据，记录一个事物从开始一直到当前状态的所有变化的信息。使用union all 进行上下合并（union会去重）；即只需要更新的数据处理，让数据过期；目的是将需要更新的数据置为过期；不等于‘9999-12-31’：包含新增和更新的数据。..................
拉链表--实现、更新及回滚的具体实现
m0_51063580的博客
11-30 1471
1 背景 　　本文前面的内容时参考了'lxw的大数据田地',具体可查看最后的'参考文章'，个人加入了'拉链表的回滚'部分的内容sql，如果有实践的，可以互相交流学习，谢谢 　　在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 　　　　1.1 数据量比较大; 　　　　1.2表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 　　　　1.3 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时.
拉链表及常见问题
weixin_38629422的博客
09-13 1022
拉链表
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现
最新发布
2301_76522810的博客
04-16 1760
目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表只能进行删除和添加操作，而不能进行update。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。缺点就是存储空间占用量太大太大了，如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费，这点我感触还是很深的……
Oracle数据回滚的全过程
01-19
查看某个时间点的表的数据 select * from 表名 as of timestamp to_timestamp('2019-04-15 22:00:38', 'yyyy-mm-dd hh24:mi:ss'); 开启闪回，如果不开启无法进行闪回 alter table 表名 enable row movement; ...
如何使用Git优雅的回滚实现
10-15
在开发过程中，有时我们需要回滚代码到某个历史状态，以修复错误或撤销不适当的变更。本文将深入探讨如何优雅地使用Git进行代码回滚。 首先，Git提供两种主要的回滚工具：`git revert`和`git reset`。在本地未push...
MySQL数据库误操作后快速回滚的方法
09-09
假设误操作是删除了名为`test.f`表的所有数据，你可以通过以下步骤进行回滚： 1. 登录MySQL服务器，查看当前的binlog文件： ```sql mysql> show master logs; ``` 2. 定位到误操作发生的binlog文件，例如`mysql...
MySql事务无法回滚的原因有哪些
09-10
MyISAM表侧重于性能，读取速度快，但不支持事务处理，这意味着在MyISAM表中进行的操作一旦提交，就无法回滚。相反，InnoDB表提供了事务处理、外键约束和行级锁定等高级数据库功能，使得它更适合需要事务安全的应用。...
大数据开发---数仓拉链表概述，以及如何迭代或者回滚
Hoult丶吴邪
12-13 843
1.背景 拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。 SCD的常用处理方式有以下几种： 保留原值 直接覆盖 增加新属性列 快照表 拉链表 本文主要讲解拉链表来处理SCD的问题，其特点归纳以下，有以下几种场景时候，可以使用拉链表。 1.表数据量较大，用全量表会占用很多存储 2.表数据会有修改，用增量表，难以处理重复且修改数据 3.有
CC00051.pbpositions——|Hadoop&PB级数仓.V09|——|PB数仓.v09|拉链表实现|拉链表回滚|
yanqi_vip
04-10 152
一、拉链表的回滚：数据 ### --- 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： ~~~ # 06-20拉链表数据(sh xxx.sh 2020-06-20；在2020-06-21日凌晨发出命令)： 001 13551111111 2020-03-01 2020-06-20 9999-12-31 002 1356...
拉链表与缓慢变化维
qq_40054339的博客
07-20 1282
通过增加开始时间字段和结束时间字段，来控制数据生命周期的表。
数据仓库实践-拉链表设计
微信搜：import_bigdata，大数据领域硬核原创作者
12-18 1005
1 写在开头的话拉链表，学名叫缓慢变化维（Slowly Changing Dimensions），简称渐变维（SCD），俗称拉链表，是为了记录关键字段的历史变化而设计出来的一种数据存储模型...
全量拉链执行全过程，记录历史数据变化痕迹
yaoxiaofeng001的博客
11-04 2319
数据仓库、ETL、拉链算法
GP——拉链表的退链
Nicky_1218的博客
12-29 594
Delete from schema.table_name Where start_date >= date'20211102' ; Update schema.table_name Set end_date = date'2999-12-31' Where end_date >= date'20211102' ;
hive拉链表以及退链例子笔记
qq_39674417的博客
02-06 1299
拉链表设计： 　　在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。 例子： -- 用户信息表; 采集当日全量数据存储到 （当日） 表中 CREATE TABLE dwd.user_info( id string, name string, sex string, biz_date string -- 业务日期 ) -- 用户信息整合表 CREATE TABL...
数据仓库实践杂谈（十七）——数据回滚
cfy_fantasyxx的博客
02-29 2608
在OLTP系统，数据回滚一般直接依赖于数据库的事务机制，出现问题直接执行回滚操作即可。但在数据仓库中，是无法使用数据库的事务机制的。对于使用关系数据库加载数据的情况，往往会关闭事务以提高效率。毕竟，需要批量加载很多张数据量很大的表的情况下，如果要在一个事务里面完成所有数据的加载，除了对服务器要求很高（undo表空间巨大）之外，一旦出意外，只能全部回滚，不能实现断点恢复。另外，Hadoop生态的平台并不支持事务。这种情况下，就需要自己记下来所做的操作，或者仓库中表的初始状态，以便出问题之后恢复。
MYSQL数据库表回滚
03-11
MYSQL数据库表回滚是指将数据库表恢复到之前的某个时间点的状态。可以通过使用事务来实现回滚操作，当事务执行失败或者需要撤销时，可以使用回滚操作将数据库表恢复到之前的状态。回滚操作可以保证数据的一致性和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值