hudi mor表数据ro和rt表问题 rt更新数据表无法使用count

已于 2022-03-21 13:14:46 修改
阅读量6.6k 收藏 4
点赞数
分类专栏： Hudi 文章标签： hive apache
于 2022-03-01 16:12:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41772761/article/details/123208447
版权

本人使用canal + kafka + sparkstructedstreaming 将mysql数据同步至hudi,并将hudi与hive集成。
想利用hive查询hudi数据。

hudi 在hive中有两张表：
xxx_ro：历史（compact策略触发后能查询到的数据）
xxx_rt：实时

查询ro表发现更新数据未与历史数据合并
查询rt表为实时数据，但是无法使用count()

hudi在 hdfs以 log+parquet格式保存，更新数据存储至log
在这里插入图片描述

查看了官网的配置
在这里插入图片描述

      .option(DataSourceWriteOptions.ASYNC_COMPACT_ENABLE.key(),"true")
      .option(HoodieCompactionConfig.INLINE_COMPACT_TRIGGER_STRATEGY.key(),"NUM_OR_TIME")
      .option(HoodieCompactionConfig.INLINE_COMPACT_NUM_DELTA_COMMITS.key(), "3")
      .option(HoodieCompactionConfig.INLINE_COMPACT_TIME_DELTA_SECONDS.key(),"60")

尝试一下看看

2022-03-03
昨天试了spark-sql查 rt表 报错

2022-03-03 09:33:45
直接更新时compact

上面配置就都不要了
在这里插入图片描述

测试ro表数据 是“实时”更新数据

肉装法师
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Hudi Flink MOR 学习总结
主要分享大数据相关的知识，如Spark、Hudi
05-28 320
之前很少用MOR表，现在来学习总结一下。首先总结一下 compaction 遇到的问题。
Hudi0.10.0-Flink1.13.3-HIVE1.1.0关于hive查询异常总结
sinat_28332637的博客
12-09 1847
本文重点解决hudi在同步到hive1.x后，RT表无法查询的问题，阅读本文存在门槛，小白请先参考下面的文章进行部署 Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践 部署完成之后需要使用hive，相信您已经将hudi-hadoop-mr-bundle-0.10.0-rc2.jar放到hive的auxlib下，并且已经给hive增加如下配置后重启hive 然后我们登录shell，查看同步过来的hive表 如果你已经得到ro,rt结尾的表，那么可以进.
【Hudi】MOR建表会额外生成rt和ro后缀两张表
最新发布
JH_Zhai的博客
02-27 511
当hudi表按照MOR格式新建以后，会默认生成3个表，如新建 hudi_os_dev表，则会生成。（1）MOR，写入快，适用于源端数据快速接入ODS层，也就是常说的贴源层的场景；（2）COW，读取快，适用于从贴源层取数据，经过处理后在存储至标准层的场景；（1）Merge-On-Read（MOR-读时合并）；（2）Copy-On-Write（COW-写时复制）；最后，对MOR方式存储时产生的三种格式进行简要总结。首先，Hudi表可以支持多种数据类型，如。
Hudi的ro和rt表
一见
05-16 959
【代码】Hudi的ro和rt表。
Hudi中MOR与COW区别，MOR表新建后ro/rt区别
zhang的博客
12-27 925
Hudi中MOR与COW区别以及MOR表新建后ro/rt区别
Hudi（25）：Hudi集成Hive之外表
yang_shibiao的博客
02-20 1248
除了要设置 hive.input.format，还需要设置上述的3个增量查询参数，且增量查询语句中的必须添加 where 关键字并将 `_hoodie_commit_time > 'startCommitTime' 作为过滤条件（这地方主要是hudi的小文件合并会把新旧commit的数据合并成新数据，hive是没法直接从parquet文件知道哪些是新数据哪些是老数据）。ro 表全称 read oprimized table，对于 MOR 表同步的 xxx_ro 表，只暴露压缩后的 parquet。
hudi记录
qq_15138049的博客
06-28 1789
hudi
Hudi-通过Hive查询hudi表数据
qq_38304392的博客
03-03 607
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 create database db_hudi; use db_hudi; CREATE EXTERNAL TABLE IF NOT EXISTS tbl_hudi_didi( order_id BIGINT, product_id ...
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
数据湖Hudi操作文档和实例代码
06-03
未来数据仓库的发展也终将走向批数据和流数据使用同一套架构处理，同时也要求批数据及流数据存储上也需要统一，这就所说的批流一体，那么使用什么技术可以既能满足批数据海量存储分析又能满足实时数据存储的效率高、...
数据湖存储格式Hudi原理与实践.pdf
10-03
Hudi是一种基于Apache的数据湖存储格式，旨在解决数据湖存储的各种挑战，如数据管理复杂、实时性需求、半结构化数据处理等问题。Hudi的价值在于其提供了一个统一的数据湖架构，能够满足各种数据处理需求。 一、数据...
基于 Hudi 和 Kylin 构建准实时高性能数据仓库.pdf
03-16
Apache Hudi 和 Apache Kylin 是大数据领域中的两个重要组件，它们分别解决了大数据处理中的不同问题。Hudi 是一个用于大数据集的开源存储层，专注于提供更新、删除和版本控制功能，而 Kylin 是一个高性能的开源在线...
数据湖架构开发Hudi 2022年
04-08
数据湖架构开发Hudi 内容包括： 1. hudi基础入门视频和资源 2. Hudi 应用进阶篇（Spark 集成）视频 3.Hudi 应用进阶篇（Flink 集成）视频 适用于所有从事大数据行业人员，从小白或相关知识提升 从数据湖相关基础...
flink操作hudi数据表
wzp1986的专栏
07-20 3548
基于flink1.14和hudi0.11，演示flink往hudi数据湖流式地写数据、hive从数据湖读数据。
hive查询hudi表使用count报java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
LZX的博客
02-09 3126
java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Hudi-集成 Hive
迷雾总会解
02-13 2499
一般来说 Hudi 表在用 Spark 或者 Flink 写入数据时会自动同步到 Hive 外部表（同6.2）， 此时可以直接通过 beeline 查询同步的外部表，若写入引擎没有开启自动同步，则需要手动利用 hudi 客户端工具 run_hive_sync_tool.sh 进行同步，具体后面介绍。Hive sync tool提供三种同步模式，JDBC，HMS，HIVEQL。为了向后兼容旧的Hudi版本，提供了一个可选的配置 --skip-ro-suffix，如果需要，可以关闭’_ro’后缀。
大数据技术-Hudi学习笔记
xiaoyixiao_的博客
11-02 2578
大数据技术-Hudi数据湖学习笔记
【Apache Hudi】一种基于增量日志文件数的压缩策略
苏苏爱自由
09-21 862
Hudi 提供了一种新的表类型：MOR 表。该表在每次的 upsert 操作时，并不会实时的和基础数据文件进行合并，而是生成新的增量日志文件，而增量文件和基础文件的合并就叫做压缩（compaction）。所以当一个读操作读取 MOR 表时，此时会读取该表的基础数据文件和所有的增量日志文件，然后进行一个合并操作（比如根据主键聚合取更新时间最新的那条数据），最后将合并后的结果返回给终端。
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka 集成
zhangs_123的博客
08-09 3115
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka
使用hudi-spark-client写数据到hudi表中
09-22
使用hudi-spark-client写数据到hudi表的步骤如下： 1. 首先，创建一个SparkSession对象，并配置相关的Spark和Hudi属性。例如： ```scala val spark = SparkSession.builder() .appName("HudiSparkClientExample") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .config("spark.sql.hive.convertMetastoreParquet", "false") .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false") .config("spark.sql.hive.verifyPartitionPath", "false") .config("spark.hadoop.hive.exec.dynamic.partition.mode", "nonstrict") .config("spark.hadoop.hive.exec.dynamic.partition", "true") .config("spark.sql.warehouse.dir", "hdfs://localhost:9000/user/hive/warehouse") .config("spark.sql.catalogImplementation", "hive") .enableHiveSupport() .getOrCreate() ``` 2. 创建一个DataFrame对象，用于存储要写入Hudi表的数据。 ```scala val data = Seq( (1, "John Doe", 25), (2, "Jane Smith", 30) ) val df = spark.createDataFrame(data).toDF("id", "name", "age") ``` 3. 使用`HoodieSparkSqlWriter`将DataFrame写入Hudi表。指定要写入的表名、要使用的主键列以及要使用的分区列。 ```scala df.write .format("org.apache.hudi") .option("hoodie.table.name", "my_hudi_table") .option("hoodie.datasource.write.precombine.field", "id") .option("hoodie.datasource.write.recordkey.field", "id") .option("hoodie.datasource.write.partitionpath.field", "age") .mode(SaveMode.Append) .save("hdfs://localhost:9000/path/to/hudi_table") ``` 4. 最后，关闭SparkSession对象。 ```scala spark.stop() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值