hive 拉链表

已于 2023-09-09 19:33:25 修改
阅读量2.1k 收藏 2
点赞数
分类专栏： Hive 文章标签： hive
于 2020-08-04 10:46:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43192537/article/details/107781557
版权

目录

hive outline

链接

什么是拉链表

（1）简单来说就是历史表（记录一个事物从开始，直到当前，所有状态的变化的信息）

（2）拉链表属于维度表

拉链表的结构

拉链表中一行数据，就是一个状态，而列有2个很特殊的字段，开始日期和结束日期

拉链表适用场景

表的数据量很大，并且表中部分字段会发生变化，但是变化的频率不是很大

拉链表怎么使用

在这里插入图片描述

获取最新状态，结束日期=极大值
获取历史状态，开始日期 =<要查询的历史日期，结束日期>=要查询的历史日期

hive 生成拉链表&拉链表数据查询&拉链表回滚

hive 生成拉链表

塞上江南o
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区...
数仓--拉链表（原理、设计以及在Hive中的实现）
热门推荐
qq_46893497的博客
12-06 1万+
什么是拉链表？ 所谓拉链，就是记录历史 记录一个事物从开始，一直到当前状态的所有变化的信息。 我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 谈到拉链表就不得不谈SCD(缓慢变化维问题) 一些维度表的数据不是静态的,而是会随时间缓慢变化(相对事实表变化速度) 如果,用户修改用户数据,出生年月/地址/… 缓慢变化维怎么解决?(粗看有五种) 保留初始值(不让改) 用户体验不好 改写属性值 用户需要历史数据怎么办 我要分析历史变化数据怎么办 增加维度新行 引出了拉链表 增加维度新列
Hive---拉链表
大呱的博客
03-07 2313
拉链表
Oracle拉链表
最新发布
qq_43583887的博客
05-29 654
简单点说：记录一个事物，从开始一直到当前状态的所有变化信息。复杂点说：记录数据在某一时间内的状态，以及数据在某一时间点的变化的数据存储方式。
拉链表 原理 场景
沉默的夏虫
11-20 2364
全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例）。 分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说...
拉链表（hive）
weixin_35995069的博客
10-14 4818
目录 1、什么是拉链表 2、拉链表是怎么存储的 3、Hive中拉链表的存储过程 1、什么是拉链表 拉链表是我们存储数据时为了处理某些情况而设计的一种表结构，是一种存储数据的方法。 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计： 1.有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，...
hive拉链表
一亿年开发经验
02-09 2553
什么是拉链表 拉链表是数据仓库中用来 记录一个事务从开始，一直到当前状态的所有变化的信息表 如下是一张拉链表 这张拉链表中存储的是 用户的基本信息 以及 每条记录的生命周期 我们可以使用这张表拿到当天的最新数据以及之前的历史数据 拉链表使用场景 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计： 有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的就会更大。 表中的部分字段会被upd
Hive 之拉链表
JIE的博客 --- moon_coder
11-22 1497
一张存储历史数据的表，记录数据由 “生” 到 “死” 的过程，用于处理缓慢变化维。好处是拉链表可以保存每条数据的所有历史记录，轨迹十分清晰。
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
hive 表结构导出
05-19
支持hive 源数据、表结构导出
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的...
大数据技术之Hive（五）拉链表的设计与实现
five小点心的博客
03-06 1864
针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。所以这种表，一般使用增量的方式，每日采集新增的数据。在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支付，但是Hive是不支持数据更新的，这样虽然MySQL中订单的状态改变了，但是Hive中订单的状态还是之前的状态。想要解决这个问题，一般有这么几种方案：每天全量导入订单表的数据。
通俗易懂：什么是拉链表
大数据的奇妙冒险
03-30 8659
按照度娘的解释：“拉链表是一种针对数据仓库设计中表存储数据的方式而定义的数据模型，它有点类似于快照，用于维护历史状态及最新状态数据。假如有张表如表1-1所示，每天的数据量大概有50w表中有些字段会被 update，如表1-2，且每天更新的数据量很小，大约只有5k有些报表需要查看历史某个日期的数据存储空间有限，需要尽可能的节约存储空间你会怎么将其装入数仓中？
Hive 拉链表实现方式(2种)
u014727826的博客
04-19 661
我们首先要知道，拉链表是一个逻辑上的概念。拉链表记录的是增量数据，它通过不断的同步增量数据来构成，不断进行数据清洗。拉链表有数据的开始日期和结束日期，记录着数据的生命周期。
拉链表详解
Xiayebuliang的博客
03-05 9446
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
hive拉链表详解
weixin_41407399的博客
05-22 2182
新增及变化数据 如下图所示，2020-01-01为初始化数据，在2020-01-02的时候jacky约增加了500，数据库里又新增了lucy这个新用户。对于数据仓库来说jacky就是变化的数据，lucy就是新增的数据。 如何将新增以及变化的数据导入数据仓库 如果在不占用过多空间的情况下，又能在保留历史数据的同时，体现最新的状态，拉链表是一个不错的选择 什么是拉链表 如下图所示，前一日全量数据和当日新增以及变化的数据合并形成一张新的全量表，就像是拉链的形状。 如何实现 如下图所示，u
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现
2301_76522810的博客
04-16 1784
目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表只能进行删除和添加操作，而不能进行update。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。缺点就是存储空间占用量太大太大了，如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费，这点我感触还是很深的……
数据仓库中的拉链表
李美静 廊坊师范学院信息技术提高班十三期
12-10 1760
1、什么是拉链表 拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 拉链表的使用场景 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计： 有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备...
hive拉链表hql实现
10-11
Hive拉链表（又称历史快照表）是一种数据模型，在数据更新时会保留历史版本，以便查询不同时间点的数据。Hive支持使用HQL语句实现拉链表。 下面是一个创建拉链表的HQL示例： ``` CREATE TABLE employee_history ( employee_id INT, name STRING, salary INT, start_date DATE, end_date DATE, version INT ) CLUSTERED BY (employee_id) INTO 4 BUCKETS STORED AS ORC; ``` 在这个示例中，我们创建了一个名为employee_history的表，它包含了每个员工的历史记录，包括工资、开始日期和结束日期。每次更新时，我们会将新的记录插入到表中，并将旧的记录的结束日期设为当前日期。这样，我们就可以在任何时间点查询员工的历史工资信息。 下面是一个插入新记录的HQL示例： ``` INSERT INTO employee_history SELECT employee_id, name, salary, start_date, current_date(), version + 1 FROM employee WHERE employee_id = 123; ``` 这个示例中，我们从employee表中选出特定员工的当前记录，并将其插入到employee_history表中。我们还增加了一个version字段，以便在查询历史记录时进行排序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值