hive 维度表更新

最新推荐文章于 2024-07-16 14:45:52 发布
最新推荐文章于 2024-07-16 14:45:52 发布
阅读量4.4k 收藏 6
点赞数 3
分类专栏： Hive Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weihongrao/article/details/17411063
版权
Hbase 同时被 2 个专栏收录
17 篇文章 0 订阅
订阅专栏
Hive
15 篇文章 0 订阅
订阅专栏

因为hadoop/hive本质上不支持更新，所以hive不能够采用update行级别的维度数据的更新。可以采用的变通的方式我总结有以下三种。

  • hive和hbase结合

我认为这是首选的方式，hbase本质上也是不支持行级更新，只不过是追加行加上时间戳，然后取最新的时间戳的数据而已，但是对于我们来说是透明的。可以在hbase中建立一张表，然后在hive中也建立这张维度表，再hive中将这张表映射到hbase中，然后在hbase中按照行级别更新维度数据就简单多了。在ETL中，往往从其他的在线的系统的数据库中导出有更新的维度信息，然后加载到hadoop，用MR更新到hbase的表，这样就达到了更新hive中维度表的作用。


  • hive中建立临时表

这样做的思路是将有更新的维度数据线加载到一张临时表中，然后select原来hive中维度表的信息只是过滤那些没有更新的行（通过将临时表作为子查询来过滤），然后union这个临时表的行再overwrite到原来的维度表，以达到维度更新的目的，这样比下面一种的方法的好处是只是需要在在线的系统数据库中获取有更新的行，这在跨网络传输的时候是比传输这个表的数据要高效得多。

  • 完全更新hive维度表
这样的方法就是把在线数据库中的所有的维度信息重新加载一次，包括有更新的没有更新的都要全部加载。这样做在维度数据小的情况下是可行的，相对于上面的方式这方法加大了传输量
韩王-信
关注
专栏目录
实践数据湖iceberg 第四十一课 测试维表更新场景
spark_dev的博客
11-21 1009
flink sql 中kafka 表join mysql表，发现无法检测到mysql表到新增、update, 百度多篇文章，写得好像可以解决问题，但又没有详细的解决方法步骤，故而写本人，期后来者以填坑。本文记录测试思路、流程与结论。 测试结论：1.kaka做为驱动表源，可以通过lookup的方式，感知mysql维表的变化 2.iceberg表无法使用lookup方式，不能通过lookup感知mysql维表的变化
Hive_维度表和事实表
qq_56870570的博客
08-19 2161
1. 维度表 维度表：一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。 例如：用户、商品、日期、地区等。 维表的特征： 维表的范围很宽（具有多个属性、列比较多） 跟事实表相比，行数相对较小：通常< 10万条 内容相对固定：编码表 时间维度表： ...
维度表更新方法 - 增量更新
wujiandao的专栏
09-01 2494
维度表更新方法- 增量更新总结： /******批量导入，从source表到stage target表，赋相应标识位:目的是找出新增加的和经过修改的记录******/ begin     merge into emp_t t     using (selec
数据仓库维度表更新技术分析
07-10
要想在百度八亿网页的数据海洋中找到你所要的信息， 人工方式需要1200 多人年，而百度搜索技术不到1 秒钟。人 们被数据淹没，却渴望知识。商务智能技术已成为当今企业 获取竞争优势的源泉之一。商务智能通常被理解为将企业中 现有的数据转化为知识，帮助企业做出明智决策的IT工具集。 其中数据仓库、OLAP和数据挖掘技术是商务智能的重要组成 部分。商务智能的关键在于如何从众多来自不同企业运作系 统的数据中，提取有用数据，进行清理以保证数据的正确性， 然后经过抽取、转换、装载合并到一个企业级的数据仓库里， 从而得到企业数据的一个全局视图，并在此基础上利用适当 的查询分析、数据挖掘、OLAP等技术工具对其进行分析处理， 最终将知识呈现给管理者，为管理者的决策过程提供支持。 可见，数据仓库技术是商业智能系统的基础，在智能系统开 发过程中，星型模式设计又是数据仓库设计的基本概念之一。 星型模式是由位于中央的事实表和环绕在四周的维度表 组成的，事实表中的每一行与每个维度表的多行建立关系， 查询结果是通过将一个或者多个维度表与事实表结合之后产 生的，因此每一个维度表和事实表都有一个“一对多”的连 接关系，维度表的主键是事实表中的外键。随着企业交易量 的越来越多，星型模式中的事实表数据记录行数会不断增加， 而且交易数据一旦生成历史是不能改变的，即便不得不变动， 如对发现以前的错误数字做修改，这些修改后的数据也会作 为一行新纪录添加到事实表中。与事实表总是不断增加记录 的行数不同，维度表的变化不仅是增加记录的行数，而且据 需求不同维度表属性本身也会发生变化。本文着重讨论数据 仓库维度表的变化类型及其更新技术。
[hive]生成日期维度表
最新发布
胖胖的博客
07-16 395
【代码】[hive]生成日期维度表。
Hive利用增量表更新全量表
鸭梨的博客
02-28 2015
需求 要求将只存在于u1而不存在于u2的的ID记录全部插入u2中，并用u1中的记录更新u2中相同ID的记录。 不要被题目误导了,这个应该先更新数据,然后再插入,不要被题目的顺序误导 数据源 drop table u1; create table if not exists u1 ( id int, name string ) row format delimited fields terminated by ',' ; drop table u2; creat
hive利用hbase实现更新
太阳的味道
05-21 3503
全过程： 1. 建立hive表映射到hbase表（建表的时候不能建外表） 2. 之后修改hive表属性，企图将内表改为外表，失败，不支持 3. 向hive表插入数据，hive中有结果，hbase中也有结果 4. 在hbase中插入数据，hbase中有结果，hive中也有结果 5. 在hbase中更新数据，hbase中结果有变化，hive中结果也有变化 6.    用hive插入hbas
数据仓库——维度表更新
a1473227656的博客
03-23 862
进入维度表中的信息，在操作系统中仍有可能发生改变，在维度设计方案时，确定数据源的变化情况在维度表中如何表示非常重要，这一想想称为缓慢变化的维度，简称缓慢变化维。几乎所有的对维度表的修改都属于前两类修改，第一类是最常见的，第二类修改保留了历史数据。分析型需求偶尔需要保护其原始状态，对修改的属性，什么事情也不做。当需要支持对维度值特定时间分析，与事实无关的时采用时间戳维度。当需求冲突，需要采用多种响应方式时，采用混合技术。
hive 时间维度表
memory_copy的博客
09-18 454
Create table dim_todate as SELECT mid_date as date_key --日-月-年 ,day as date_...
Hive维度表设计之--缓慢变化维、维度层次、维度一致性
SOARING
06-09 7649
维度表设计 维度表在维度建模中相当重要，在维度表设计中的一些问题直接关系到维度建模的好坏。 1、维度变化 维度表通常来自于业务系统，比如商品维度可能来自超时pos系统的商品表，但是商品会变化的，比如类目，标签价格，描述等，这些变化可能是之前错误需要订正，也可能是本身业务的变化。这种缓慢变化的维度，称为缓慢变化维度，那么源头数据的变化在维度表中如何表示呢 ？？ 1.1、重写纬度值 新维度值...
2022年日期节假日维度表
06-24
该表维护了2022年全年的日期，特殊的法定节假日，调休，周末，工作日都有标识
在Hive中创建日期维度表
fengfengzai0101的博客
05-11 4140
基础知识 datediff操作 select datediff("2020-01-10", "2020-01-01") 输出： 9 repeat操作 select repeat("o", 9); 输出：ooooooooo split操作 select split("ooooooooo", "o"); 输出：["","","","","","","","","",""] posexplode操作 select posexplode(split("ooooooooo", "o")); 输出： pos，v
百亿级hive表更新与删除数据
super_chenzhou
03-14 4567
hive表百亿级数据更新与删除操作
hive表数据更新insert overwrite/merge into
Allenzyg的博客
03-30 3857
根据甲方要求，需要对大数据平台指定表(hive、impala表)的历史数据[2021-01-01至2023-03-29]指定字段进行批量更新，然后把表同步到Oracle。hive有8张表更新，其中4张大表【分区表】（数据量分别为：1038738976、260958144、25860509、2867005），另外4张小表(几万、二十几万的样子)
Hive-清洗出最新一个分区中新增和变化的数据
pengdixi的博客
11-28 740
Hive-清洗出最新一个分区中新增和变化的数据
数据仓库建模（四）：维度表的设计
半吊子Kyle的博客
10-23 3872
数据仓库建模（四）：维度表的设计维度表的结构 维度表的结构
Kettle: 维度查询/更新
读万卷书 行万里路
10-25 4836
1.缓慢变化维
关于维度建模中维度表的一些设计细节(持续更新)
俩只猴的博客
09-04 478
维度表的层次 维度表进行一定的降维，一般情况加有一定的冗余是可以接受的。 维度表应该设计成多层次的，方便下钻 维度表中的数字列 一些数字类型 应该 依据具体的业务来判断其是否归入维度属性的分类。 比如一些商品的标准价格，可以用于计算以及过滤，分组等功能，这个和事实表中的商品标准价格在意义上是不同的： 事实表中的标准价格表示销售事物的价格，而维度属性则标记为当前情况的标准价格。 维度表中的空行，空值 对于营销方面的维度表来说：例如优惠券等，因为事实表中可能会存在未参加促销的商品，所以应当在优惠券维度
flinksql 关联hive维表
10-01
flinksql可以通过内置的HiveCatalog来与Hive中的维表进行关联。下面是一个用于关联Hive维表的示例代码: 首先，需要在flink的环境中配置HiveCatalog，可以在flink的配置文件中添加如下配置: ``` catalogs.myhive.type=hive catalogs.myhive.session-conf.dir=/path/to/hive-site.xml ``` 然后在flinksql中创建HiveCatalog: ``` CREATE CATALOG myhive WITH ( 'type'='hive', 'hive-conf-dir'='/path/to/hive-site.xml' ) ``` 接下来，可以使用HiveCatalog创建表并将其与Hive中的维表关联: ``` CREATE TABLE mytable ( id BIGINT, name STRING, age INT ) WITH ( 'connector'='hive', 'table-name'='my_table', 'database-name'='my_database', 'hive-version'='3.1.2', 'hive-catalog'='myhive' ) ``` 然后，可以使用FlinkSQL查询关联了Hive维表的数据: ``` SELECT t.id, t.name, v.address FROM mytable AS t LEFT JOIN hive_dimension AS v ON t.id = v.id ``` 在这个例子中，我们将Flink的表mytable与Hive中的维表hive_dimension进行了左连接操作，通过id字段进行关联，查询了id、name和address字段的数据。 以上就是使用flinksql关联Hive维表的基本步骤和示例代码。关联Hive维表可以让我们更方便地在flink中使用Hive中的数据进行分析和计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值