拉链表的实现过程_拉链表（一）

最新推荐文章于 2024-09-24 20:51:31 发布
最新推荐文章于 2024-09-24 20:51:31 发布
阅读量3.1k 收藏 8
点赞数 1
文章标签： 拉链表的实现过程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42114046/article/details/113365484
版权
本文详细介绍了拉链表的概念、实现过程及其在数据仓库中的应用。通过实例展示了拉链表如何处理用户数据变化，包括按天和按月分区的优化方案，以及如何支持数据删除。拉链表能节省存储空间，提供历史快照查询，但同步逻辑复杂，资源消耗较多。
摘要由CSDN通过智能技术生成

d0e73a3bbf7cac4af7e6aac45a8909b7.png
拉链表（一）
拉链表（二）

一、前言

在把关系型数据库的数据同步到数据仓库时，经常会涉及到拉链表。

拉链表有其明显的优势：

  • 相比每次全量同步会节省存储空间
  • 能够查询到历史快照

但是也会有其劣势：

  • 拉链表同步逻辑复杂
  • 消耗资源多

本文主要讲解拉链表如何实现。

二、原数据库表结构

在讲解拉链表实现之前先规定一下原表的表结构。之后的拉链表数据就是从这个表同步得来。

这里的例子是用户表（user），表结构如下

9344cde89aade4cb84cad63d75ed2bfb.png

用户表的变化过程如下：

  • 2019-07-01日用户A注册

最低0.47元/天 解锁文章
实践千百次练习而
关注
Oracle存储过程实现数仓拉链表数据抽取
xiaobinhxb的博客
11-14 278
通过Oracle存储过程，实现拉链表数据增量抽取
mysql 拉链表_拉链表（二）
weixin_29031161的博客
01-19 1277
一、前言在上一节简单介绍了拉链表，本节主要讲解如何通过binlog采集MySQL的数据并且按月分区的方式实现拉链表。这里以上节介绍的用户表(user) 举例二、涉及到的表1. 原始表(user)原始表指的是MySQL中的表，表结构如下：其中name为主键，如果没有主键则无法做拉链表。2. binlog流水表(user_binlog)操作类型字段枚举值为：insert、update、delete。设...
数据结构-几种链表的总结
viafcccy的博客
12-21 1760
数仓拉链表的实现过程
weixin_43861104的博客
02-26 4532
1.简介 数据仓库中经常会遇到维度表缓慢变化的情况，针对这种情况可采用拉链表进行处理。拉链表就是记录历史数据的每个状态，数据量大，且存在数据的新增和变化。 2.实现过程 本文主要实现用户拉链表 2.1初始化用户拉链表 在DWD层创建用户的初始化拉链表，即在原始用户维度表上添加start_date和end_date列 DROP TABLE IF EXISTS gmall_2021.dwd_dim_user_info_his; -- 创建初始化拉链表 CREATE EXTERNAL TABLE gmall_20
数仓拉链表超详细讲解（通俗易懂）
最新发布
weixin_53709379的博客
09-24 1102
数仓拉链表超详细讲解（通俗易懂）
拉链表的详细实现过程（好文点赞收藏！！）
热门推荐
CLKTOY的博客
09-24 2万+
目录1-什么是拉链表2-为什么要做拉链表2.1-如何使用拉链表3-拉链表的形成过程4-拉链表的制作过程4.1-初始化拉链表（首次独立执行）4.2-制作当日变动数据（包括新增，修改）每日执行4.3-先合并变动信息，再追加新增信息，插入到临时表中4.4-把临时表覆盖给拉链表5-总结 1-什么是拉链表 本文以订单拉链表为例进行详细讲解。 2-为什么要做拉链表 2.1-如何使用拉链表 3-拉链表的形成过程 4-拉链表的制作过程 4.1-初始化拉链表（首次独立执行） 先生成10条原始订单数据（测试数
详细记录拉链表的实现过程
atwdy的博客
12-28 2575
1）直接更新，也就是用业务库中发生变化的数据覆写数仓中的数据，这种实现方式可以保持数仓与业务库数据保持一致，缺点是只能保存当前最新的数据，对这条数据修改之前的历史数据不做维护，一般很少采用这种实现方式，除非历史数据本身就是错误的，没有使用价值。此时这张拉链表就是只包含最新的记录信息，而上面那张拉链表中包含的既可能有最新的信息，也可能有历史的记录信息，此时我们需要把原始的那张拉链表中的。后续对拉链表的更新都是只同步每天发生更新的数据，然后把这部分数据做成一个新的拉链表，再修改原始拉链表中的有效期。
拉链表实现过程
the_dog_so_happy的博客
06-27 2423
详细整理了一份拉链表的具体操作。
hive中拉链表
weixin_30677617的博客
12-01 675
在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。 拉链表适用于以下几种情况吧 数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需要统计这种变化状态，每天全量一份呢，有点不太现实， 不仅浪费了存储空间，有时可能业务统计也有点麻烦，这时，拉链表的作用就提现出来了，既节省空间，又满足了需求。 一般在数仓中通过增加...
oracle拉链表实现原理,数据仓库-拉链表+增量表抽取的实现
weixin_29015801的博客
04-03 1268
背景：业务部门提了用户分层的需求，其中有一点，业务放需要我们数仓提供历史数据，并且业务库里的部分表还没有数据更新时间字段。所以本篇文章主要解决两个问题1：问题一 怎么再HIVE里实现拉链表2：问题二 怎么再没有数据更新时间字段的情况下获取增量数据(个人认为这个方式也是一种通用的方式)一：拉链表是什么？使用场景？实现原理？1：是什么？ 拉链表是一张记录事务历史变化的表，记录一个事务从开始到当前发生...
拉链表的实现
qq_42456324的博客
12-09 478
在拉链表的生成过程中，由于数据源的业务形式实现方式也会有所不同，例如源数据的删除数据的形式是逻辑删除(通过标记说明当前数据已不可用)还是物理删除。
大数据Hive拉链表的设计与实现
赵广陆
09-19 7298
7.1 数据同步问题 7.1.1 数据同步的场景 Hive在实际工作中主要用于构建离线数据仓库，定期的从各种数据源中同步采集数据到Hive中，经过分层转换提供数据应用。例如，每天需要从MySQL中同步最新的订单信息、用户信息、店铺信息等到数据仓库中，进行订单分析、用户分析。 例如：MySQL中有一张用户表：tb_user，每个用户注册完成以后，就会在用户表中新增该用户的信息，记录该用户的id、手机号码、用户名、性别、地址等信息。 每天都会有用户注册，产生新的用户信息，我们每天都需要将MySQL中的用户
拉链表实现步骤
m0_58535137的博客
04-06 999
/* zipper.txt数据： 001 186xxxx1234 laoda 0 sh 2021-01-01 9999-12-31 002 186xxxx1235 laoer 1 bj 2021-01-01 9999-12-31 003 186xxxx1236 laosan 0 sz 2021-01-01 9999-12-31 004 186xxxx1237 laosi 1 gz 2021-01-01 9999-12-31 005 186xxxx1238 laowu 0 sh 2021-01-01 999.
拉链表的实现过程
一个技术迷的博客
11-19 9383
拉链表的优势我就不说了，具体请参考百度百科： 拉链表-百度百科 推荐一个比较详细的参考文章： 拉链表示例 主要总结一下实现过程： 分析：拉链表就是用来存储变化的数据的，每一份数据都有对应的有效期，我们需要进行的操作就是将变动的数据进行新增，同时将变动对应的前一条数据的有效期进行变更。 说明：一般都是今天处理昨天的数据，本文所说的当天为所处理的数据的产生的当天。 在这之前需要熟悉一下需要用到的表： 表1：订单表（记录原始的数据） 表2：增量数据表（记录每日变更的数据） 表3：历史拉链表（我们要得到的就是这张表
拉链表实现及使用
se7en.shi的专栏
11-13 9175
一、概念 历史拉链表，就是记录一个事务从开始一直到当前状态的所有变化的信息，拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据的一种常见方式。 假设企业拥有1000万的会员信息，每天有20万的会员资料变更，我们需要记录所有会议的历史变化记录，并至少保留两年，该怎么办？ 储存两年就是2x365x1000万=7300000000(70亿)，如果储存...
拉链表的实现过程_希嘉统一集成管道之拉链算法
weixin_39692045的博客
01-28 649
随着学校规模不断的扩大以及数据分析需求的越来越精准 ，对于传统的快照存储或者全量备份存储等方式已经不满足学校数据分析的需求，而是更期待采用拉链表方式进行存储，拉链历史数据的入库对保证数据的连续、完整及资源共享有一定的意义.传统ELT工具通过自定义脚本、存储过程、控件封装方式实现拉链表，实现过程比较繁琐复杂，具体的实现过程就不在这里讲解，下面重点讲解希嘉在拉链表实现是怎样处理？讲解拉链表实现，首先先...
greenplum 查询出来的数字加减日期_「实战系列」Greenplum 建模最佳实践之拉链表...
weixin_39608559的博客
11-29 276
拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的。顾名思义，所谓拉链表，就是记录历史，记录一个事务从开始一直到当前状态的所有变化的信息。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据( SCD2 )的一种常见方式。一、概念原理在拉链表中，每一条数据都有一个生效日期 ( sdate ) 和失效日期 ( edate )。假设在一个用户表中，在 20...
DB：简单实现拉链表；拉链表案例
KissedBySnow的博客
07-19 419
拉链表：记录一个事物从开始到当前的状态变化 REFERENCE： https://blog.csdn.net/Andy_shenzl/article/details/106230597 一个简单的拉链表，记录了每个用户随着时间的变化其等级的变动情况 user_id name level start_time end_time 1 田家炳 A 2000-01-01 9999-12-31 2 张国荣 B 2000-01-01 2000-01-02 2 张国荣 A 2000-01-.
拉链表实现（demo）
iilegend的博客
02-26 1312
创建库 create database shop_ods; 创建订单增量分区表（每天一个分区） CREATE TABLE shop_ods.ods_orders_inc ( orderid INT, createtime STRING, modifiedtime STRING, status STRING ) partitioned by(day string ) row format del...
oracle拉链表的实现过程
05-27
拉链表（又称历史记录表）是一种用于保留历史数据的数据结构，它可以记录一个表中某些列的历史变化情况，通常用于数据仓库等应用场景。 Oracle数据库提供了一种实现拉链表的方法，即使用触发器和历史记录表。具体实现过程如下： 1. 创建历史记录表，用于存储被更新的记录的历史版本。该表通常包括以下列：原始表的主键、更新时间、版本号、历史记录开始时间、历史记录结束时间以及被更新的列的值。 2. 创建一个 BEFORE UPDATE 触发器，在更新原始表中的记录时，将该记录的历史版本插入到历史记录表中。触发器可以使用特定的逻辑来确定何时插入新的历史记录，例如只在某些列被更新时插入历史记录。 3. 创建一个视图，将原始表和历史记录表连接起来，以便查询历史版本数据。视图可以使用特定的逻辑来确定要显示哪些版本的数据，例如只显示某个时间段内的历史版本。 使用这种方法实现拉链表可以方便地保留历史版本数据，同时也不会对原始表的性能产生太大影响。但是需要注意的是，拉链表可能会占用较大的存储空间，因此需要仔细考虑是否使用该方法，以及如何设计历史记录表的列和索引。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值