Hive增量查询Hudi表

已于 2022-11-18 15:22:56 修改
阅读量1.8k 收藏 6
点赞数 2
分类专栏： Hudi # hive 文章标签： hive Hudi
于 2022-06-27 16:22:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/125486457
版权
Hudi 同时被 2 个专栏收录
38 篇文章 4 订阅 ¥49.90 ¥99.00
订阅专栏 超级会员免费看
hive
16 篇文章 1 订阅
订阅专栏

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

简单总结如何利用Hive增量查询Hudi表

同步Hive

我们在写数据时，可以配置同步Hive参数，生成对应的Hive表，用来查询Hudi表，具体来说，在写入过程中传递了两个由table name命名的Hive表。 例如，如果table name = hudi_tbl，我们得到

hudi_tbl 实现了由 HoodieParquetInputFormat 支持的数据集的读优化视图，从而提供了纯列式数据。
hudi_tbl_rt 实现了由 HoodieParquetRealtimeInputFormat 支持的数据集的实时视图，从而提供了基础数据和日志数据的合并视图。

上面的两条对比摘自官网，这里解释一下：其中实时视图_rt表只有在MOR表同步Hive元数据时才会有,并且hudi_tbl在表类型为MOR时并且为配置skipROSuffix=true时才为读优化视图，当为false(默认为false)时，读优化视图应该为hudi_tbl_ro,当表类型为COW时，hudi_tbl应该为实时视图，所以官网对这一块解释有一点问题大

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董可伦
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
数据湖（五）：Hudi与Hive集成
Lansonli（蓝深李）的博客
05-30 3516
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
Hudi系列15:Hudi元数据同步到Hive
只是甲的博客
02-06 1619
Hudi元数据同步到Hive
【Hudi】MOR建表会额外生成rt和ro后缀两张表
最新发布
JH_Zhai的博客
02-27 275
当hudi表按照MOR格式新建以后，会默认生成3个表，如新建 hudi_os_dev表，则会生成。（1）MOR，写入快，适用于源端数据快速接入ODS层，也就是常说的贴源层的场景；（2）COW，读取快，适用于从贴源层取数据，经过处理后在存储至标准层的场景；（1）Merge-On-Read（MOR-读时合并）；（2）Copy-On-Write（COW-写时复制）；最后，对MOR方式存储时产生的三种格式进行简要总结。首先，Hudi表可以支持多种数据类型，如。
【hudi的hiveSync同步表结构流程】
lisacumt的专栏
07-18 235
hudi的hiveSync同步表结构流程
Hudi系列13:Hudi集成Hive
只是甲的博客
02-02 2804
Hudi集成hive
将数据迁移到hudi中
从大数据到人工智能的博客
09-25 1038
Hudi维护元数据，如提交时间轴和索引来管理表。提交时间线有助于理解表上发生的操作以及表的当前状态。索引被Hudi用来维护一个记录键到文件id映射，从而有效地定位一个记录。目前，Hudi只支持书写parquet columnar格式。为了能够开始为现有表使用Hudi，您需要将现有表迁移到一个Hudi管理的表。有几种方法可以实现这一点。 方法 仅对新分区使用Hudi Hudi可以用来管理现有的表，而不影响/改变表中已经存在的历史数据。Hudi已经实现与这样的混合表兼容，但需要注意的是，整个Hive分区是否由H
hudi记录
qq_15138049的博客
06-28 1600
hudi
基于 Ubuntu 玩转 Hudi Docker Demo （4）—— Hive 查询 Hudi 表
修破立生
02-12 1167
本文介绍了如何使用 Hive 查询 Hudi 表。 包括： CopyOnWrite 表的快照查询和增量查询MergeOnRead 表的快照查询，读优化查询和增量查询
Flink写数据到 hudi中,hive读取
xinji
02-17 4113
flink hive on hudi 手动创建表 文档 : https://www.yuque.com/docs/share/879349ce-7de4-4284-9126-9c2a3c93a91d?#%20%E3%80%8AHive%20On%20Hudi%E3%80%8B 在 /data/app/hive/auxlib 目录放入hudi jar–>hudi-hadoop-mr-bundle-0.10.0.jar 或者 修改配置项 hive-site.xml hive.default.aux.j
Hudi-通过Hive查询hudi表数据
qq_38304392的博客
03-03 585
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 create database db_hudi; use db_hudi; CREATE EXTERNAL TABLE IF NOT EXISTS tbl_hudi_didi( order_id BIGINT, product_id ...
Hive 表常用查询语句-总结
Growth Diary
03-21 8023
hive之前不常用，每次都是现用现查，现在总结记下笔记，边学边记>_<。 现在假设有数据库 db，数据表table1，table2， （1）查看表的创建信息： show create table db.table1; （2）查看表的分区信息： show partitions db.table1; （3）查看表的记录数： select count(*) from db.table1 ...
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区...
Hive中查询操作
01-20
starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE...
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的...
Hive分区表
01-07
原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个类别中然后直接去对应类对应的文件中去查询就好，这样只需扫描这一个类别的文件而不需要扫描所有文件，这样提高了查询效率。...
通过数据库客户端界面工具DBeaver连接Hive
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
08-03 2万+
本文讲解如何通过数据库客户端界面工具DBeaver连接hive，并解决驱动下载不下来的问题。为什么使用客户端界面工具而不用命令行使用hive其实在网上搜一下，连接hive的工具还有很多，使用DBeaver的原因是因为我之前连接关系型数据库使用的就是DBeaver，正好DBeaver支持连接hive，且个人认为DBeaver确实挺好用的，支持各...
Spark操作Hive分区表
主要分享大数据相关的知识，如Spark、Hudi
12-07 1万+
我的原创地址：https://dongkelun.com/2018/12/04/sparkHivePatition/ 前言 前面学习总结了Hive分区表，现在学习总结一下Spark如何操作Hive分区表，包括利用Spark DataFrame创建Hive的分区表和Spark向已经存在Hive分区表里插入数据，并记录一下遇到的问题以及如何解决。 1、Spark创建分区表 只写主要代码，完整代码见附录......
hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException
主要分享大数据相关的知识，如Spark、Hudi
05-21 1万+
这个异常是用spark sql将oracle（不知道mysql中有没有该问题，大家可以自己测试一下）中表数据查询出来然后写入hive表中，之后在hive命令行执行查询语句时产生的，下面先具体看一下如何产生这个异常的。...
hudi hive kafka
05-09
Hudi、Hive和Kafka都是目前非常流行的大数据技术。这三个技术可以很好地结合在一起，实现分布式数据处理和存储。以下是对每个技术的详细介绍及它们如何协同工作的说明。 Hudi： Hudi是一个开源数据湖技术，它旨在实现数据批次的增量更新和实时查询。它支持Delta Lake和Hive表，并提供了ACID事务、数据兼容性和高性能。Hudi可以通过在数据湖中的文件更新来实现数据的最新状态，并支持键值存储、时间旅行查询等功能。 Hive： Hive是一个流行的大数据查询和分析平台，它允许开发人员使用类似SQL的语言来访问Hadoop分布式文件系统中的数据。 Hive支持分布式查询和混合存储方式（文本、Parquet、ORC等）。Hive Query Language（HQL）是Hive中常用的查询语言。 Kafka： Kafka是一个流数据发布/订阅平台，它支持高吞吐量、低延迟的数据传输。它使用分布式发布/订阅机制来处理消息，并且能够自动将消息传递给下游的消费者。 Kafka对于高速数据处理、日志收集和事件处理非常有用。 Kafka可以进行消息持久化，并且可水平扩展。 这些技术的组合： Hive和Hudi可以很容易地结合起来。Hive可以使用Hudi存储表数据，Hudi则可以支持事务性更新、增量更新和数据更改的版本控制。 Kafka可以作为Hudi和Hive之间的消息队列，用于异步数据流传输，提升数据处理的效率。 Kafka提供了数据持久化和水平扩展，可以支持大量的数据发送。 综上所述，Hudi、Hive和Kafka可以协作处理大数据的存储、分析和处理任务，这将有助于提高大数据处理的效率和准确性。由于这三个技术的快速发展和广泛使用，未来很可能会有更多的应用场景和扩展功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值