Hive-拉链表的设计与实现

已于 2024-05-13 09:51:12 修改
阅读量254 收藏 2
点赞数 2
分类专栏： Hive 文章标签： hive 数据仓库
于 2024-05-13 09:46:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48935611/article/details/138786662
版权

Hive-拉链表的设计与实现

在Hive中，拉链表专门用于解决在数据仓库中数据发生变化如何实现数据存储的问题。

在这里插入图片描述

1.数据同步问题

Hive在实际工作中主要用于构建离线数据仓库，定期的从各种数据源中同步采集数据到Hive中，经过分层转换提供数据应用。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

解决方案

（1）直接更新

在这里插入图片描述

（2）全量快照

在这里插入图片描述

（3）构建拉链表

在这里插入图片描述

2.拉链表的设计

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

喻师傅
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
【大数据hive】hive 拉链表设计与实现
congge_study的博客
06-19 7281
hive 拉链表设计与实现
Hive---拉链表设计与实现
m0_53400772的博客
05-23 1280
拉链表的设计是将更新的数据进行状态记录，没有发生更新的数据不进行状态存储，用于存储所有数据在不同时间上的所有状态，通过时间进行标记每个状态的生命周期，查询时，根据需求可以获取指定时间范围状态的数据，默认用9999-12-31等最大值来表示最新状态。假如在1号已经在hive中创建了表并拉取了数据,但是在2号时MySQL中新增2条用户注册数据，并且有1条用户数据发生更新.由于每天都会有用户注册，产生新的用户信息,那么每天都需要将MySQL中的用户数据同步到Hive数据仓库中.2号再创建一张表拉取所有数据。
大数据Hive拉链表的设计与实现
赵广陆
09-19 6087
7.1 数据同步问题 7.1.1 数据同步的场景 Hive在实际工作中主要用于构建离线数据仓库，定期的从各种数据源中同步采集数据到Hive中，经过分层转换提供数据应用。例如，每天需要从MySQL中同步最新的订单信息、用户信息、店铺信息等到数据仓库中，进行订单分析、用户分析。 例如：MySQL中有一张用户表：tb_user，每个用户注册完成以后，就会在用户表中新增该用户的信息，记录该用户的id、手机号码、用户名、性别、地址等信息。 每天都会有用户注册，产生新的用户信息，我们每天都需要将MySQL中的用户
Hive---拉链表
大呱的博客
03-07 2174
拉链表
hive-之拉链表的设计与练习
shufangreal的博客
05-18 138
hive-之拉链表的设计与练习 以下是转载地址： Hive拉链表的设计与简单实现 经典Hive练习题
hive拉链表实现的四种方式
zuhge的博客
03-06 516
如果批次异常或者重跑，当日批次的还好，删除当日链路数据-回滚h_end_dt最大时间为29991231，一旦需要补非当时日期的数据，那就痛苦了，比如正常批次日期为20240306，需要修正20240101的数据，那就懵逼了，需要拆链-修数-剔数-合前链-合后链 逻辑巨巨复杂，如果从业务上限制这种补批，这种方案还是很优秀的。这种方法对开发人员来说是友好的，但是对分析人员来说，使用起来就比较麻烦点，需要两两关联才能得到想要结果。每日一个切片表，存储要求非常大，不建议使用。废话不多说，直接上干货，
hive 拉链表如何设计与实现
alicyh的专栏
06-21 267
在维度表和历史表中添加拉链字段，用于标识每条记录的起始日期（start_date）和结束日期（end_date）。- 历史表中的记录对应于维度表中的被更新或删除的记录，并设置正确的起始日期和结束日期。- 初始时，维度表中的所有记录的结束日期可以设置为一个未来日期，表示当前有效。- 当维度表中的记录发生变化时，首先将当前有效记录的结束日期更新为当前日期。- 在维度表中插入新的记录，并设置正确的起始日期和结束日期。- 维度表：定义维度的基本信息和当前有效的记录。- 历史表：用于存储维度变化的历史记录。
大数据技术之Hive（五）拉链表的设计与实现
five小点心的博客
03-06 1799
针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。所以这种表，一般使用增量的方式，每日采集新增的数据。在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支付，但是Hive是不支持数据更新的，这样虽然MySQL中订单的状态改变了，但是Hive中订单的状态还是之前的状态。想要解决这个问题，一般有这么几种方案：每天全量导入订单表的数据。
数仓--拉链表（原理、设计以及在Hive中的实现）
热门推荐
qq_46893497的博客
12-06 1万+
什么是拉链表？ 所谓拉链，就是记录历史 记录一个事物从开始，一直到当前状态的所有变化的信息。 我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。 谈到拉链表就不得不谈SCD(缓慢变化维问题) 一些维度表的数据不是静态的,而是会随时间缓慢变化(相对事实表变化速度) 如果,用户修改用户数据,出生年月/地址/… 缓慢变化维怎么解决?(粗看有五种) 保留初始值(不让改) 用户体验不好 改写属性值 用户需要历史数据怎么办 我要分析历史变化数据怎么办 增加维度新行 引出了拉链表 增加维度新列
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
hive-exec-2.1.1.jar
04-14
hive2.1.1 show create table 表名，hive中文乱码，替换hive-exec-2.1.1.jar
hive-jdbc-3.1.0.jar
08-23
hive jdbc 3.1.0 jar
hive-jdbc-2.1.0.jar
04-07
hive-jdbc-2.1.0.jar
hive-exec-3.1.2 排除guava
03-19
hive-exec-3.1.2 排除guava
大数据面试题 —— Hive
hu_wei123的博客
05-19 1087
（1）承UDF或者UDAF或者UDTF，实现特定的方法；（2）打成jar包，上传到服务器（3）执行命令add jar路径，目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"（5）在select中使用 UDF 函数。
jeecgboot访问签名修改
最新发布
tonysh_zds的博客
05-22 271
2、查询时去掉null值（因为get方法提交url自动会去掉为空的参数），再签名。解决带null签名与后台签名不一致问题。1、增加过滤器， copy一个requet流（附件上传不做签名认证，仍然用之前的流）字符转换null转换’null’ bug问题。附件上传、调用远程文件链接等不做签名认证。配置几个未登录前的接口不做签名认证。1、增删修查 增加签名。支持提交null数据。
Hive的小文件处理
早拾碗吧的博客
05-21 711
Hive的小文件处理。
大数据Hadoop之-工具HIVE(一)
天道酬勤
05-21 705
日常工作中数据倾斜主要发生在Reduce阶段，而很少发生在 Map阶段，其原因是Map端的数据倾斜一般是由于HDFS数据存储不均匀造成的（公司的日志存储几乎都是均匀分块存储，每个文件大小基本固定），而Reduce阶段的数据倾斜几乎都是因为分析师没有考虑到某种key值数据量偏多的情况而导致的。分桶表会将指定列的值进行哈希散列，并对 bucket（桶数量）取余，然后存储到对应的 bucket（桶）中(Hive 中的分桶概念和 Java 数据结构中的 HashMap 的分桶概念是一致的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

喻师傅

谢谢您！我会继续努力创作！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值