Hudi 客户端基础操作

shangjg3

已于 2023-10-07 13:57:41 修改

阅读量345

点赞数

分类专栏：数据湖Hudi 文章标签： hadoop hive 大数据

于 2023-08-04 17:46:09 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/132109618

版权

数据湖Hudi 专栏收录该内容

12 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Hadoop和Hive环境中使用Hudi客户端的基础操作，包括环境准备、创建Hudi表、查看表详细信息、连接表以及检查commit信息。

摘要由CSDN通过智能技术生成

1. 环境准备

hadoop和hive已启动

启动hudi-cli

2. 创建表

create --path hdfs://master:8020/user/hudi/warehouse/hudi_db/test_tb --tableName test_tb --tableType COPY_ON_WRITE

客户端响应

查看HDFS信息

3.查看hudi表详细信息

hudi:test_tb->desc

4.连接表

connect --path hdfs://master:8020/user/hudi/warehouse/hudi_db/test_tb

5. 查看commit信息

commits show --sortBy "Total Bytes Written" --desc true --limit 3

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shangjg3

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Hudi 写入流程（图）

主要分享大数据相关的知识，如Spark、Hudi

07-05

269

主要为之前总结的源码文章补充流程图。总结一下整体流程。

CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( HoodieMultiTableStreamer )

最新发布

Laurence的技术博客

05-20

2690

本方案的技术链路为：使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据（Avro 格式）接入到 Kafka ，然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 实时入湖方案：MySQL > Kafka Connect > Kafka ＆ Sche

参与评论您还未登录，请先登录后发表或查看评论

Apache Hudi数据湖hudi-cli客户端使用

Bulut0907

06-15

4407

目录1. 开启hudi-cli2. 创建表3. desc4. connect表5. 查看commit信息5.1 commits show5.2 commit showpartitions5.3 commit showfiles6. 查看FileSystem信息: show fsview7. 文件大小Statistics8. Compactions8.1 查看compaction8.2 schedule或run compaction8.3 验证compaction8.4 Unscheduling Compac

hudi

03-25

Hudi（发音为“ Hoodie”）将流处理带到大数据，提供更新，删除和增量数据流。https://mirrors.tuna.tsinghua.edu.cn/apache/hudi/0.6.0/

【hudi】数据湖客户端运维工具Hudi-Cli实战

lisacumt的专栏

09-15

798

Hudi-Cli实战

Hudi的使用

qq_43520412的博客

09-12

2072

第1章 Hudi概述 1.1 Hudi简介 Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。 Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。 Apache Hudi可以轻松地在任何云存储平台上使用

Hudi最强指南 — Hudi的安装部署（Linux）

2301_78038072的博客

03-26

7512

随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。

Hudi-简介和编译安装

迷雾总会解

02-13

2149

Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。Apache Hudi可以轻松地在任何云存储平台上使用。Hudi的高级性能优化，使分析工作负载更快的任何流行的

Hudi事务机制

jyjiao2016的博客

03-14

621

Hudi和Delta Lake等数据湖项目类似，最初主要是针对业务数据经常发生改动但是数据仓库更新操作效率较为低下的问题而设计的，是一个处于计算引擎（Spark/Flink/Presto等)和大数据文件系统(HDFS/S3)之间的一个存储引擎层。随着大数据业务的快速发展，当前数据湖技术栈与数据仓库（MPP）整合起来构成了湖仓一体的架构，该架构可以兼顾海量结构化/非结构化数据的存储、加工和各类数据分析请求（离线/实时/交互式等）。

Hudi表存储

jyjiao2016的博客

01-16

1323

2）fileSlices：文件片，在一个文件组中可能发生多次数据写入，每次发生数据写入（COW表）或发生compaction后（MOR表）均会生成一个新版本的base文件，这个base文件及与MOR表产生的log文件的时间戳一致，并且时间戳一样的文件属于同一个fileSlice，可见，一个文件组下可能出现多个fileSlice，在一个flileSlice中有一个base文件，并且在MOR表情况下还会有一个或多个log文件。并且在文件末尾的Footer部分记录了文件中数据的索引信息来加速检索；

基于Flink+Hudi构建企业亿级云上实时数据湖教程（PC、移动、小

02-24

随着互联网的发展，数据的不断膨胀，从刚开始的关系型数据库到非关系型数据库，再到大数据技术，技术的不断演进最终是随着数据膨胀而不断改变，最初的数据仓库能解决我们的问题，但是随着时代发展，企业已经不满足于数据仓库，希望有更强大的技术来支撑数据的存储，包括结构化，非结构化的数据等，希望能够积累企业的数据，从中挖掘出更大的价值。基于这个背景，数据湖的技术应运而生。本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。Hudi的出现解决了现有hadoop体系的几个问题：1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。本课程包含的技术：开发工具为：IDEA、WebStorm Flink1.9.0、HudiClickHouseHadoop2.7.5 Hbase2.2.6Kafka2.1.0 Hive2.2.0HDFS、MapReduceSpark、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASEVue.js、Nodejs、HighchartsLinux Shell编程课程亮点： 1.与企业接轨、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink4.Flink join 实战 5.Hudi数据湖技术6.集成指标明细查询 7.主流微服务后端系统 8.数据库实时同步解决方案 9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 10.集成SpringCloud实现统一整合方案 11.互联网大数据企业热门技术栈 12.支持海量数据的实时分析 13.支持全端实时数据分析 14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。版权归作者所有，盗版将进行法律维权。

Hudi Admin CLI使用指南————附带详细步骤

韩江雪de 小屋

07-29

2314

文章目录hudi Admin CLI使用指南0 常见问题0.1 常用指标0.2 故障排除0.2.1 缺失记录0.2.2 重复0.2.3 Spark故障0 开始使用1 建立与Hudi数据集的联建2 查看hudi表信息3 显示所有可用指令4 查看提交4.1 检查提交4.2 深入到特定的提交4.2.1 了解写入如何分散到特定分区4.2.1 深入到某次文件级粒度5 文件系统视图5.1 查看数据集的文件切片6 统计信息7 压缩7.1 压缩前的准备7.2 手动压缩7.3 取消压缩7.4 修复压缩 hudi Admin

Hudi的编译安装

m0_43405302的博客

02-05

2196

文章目录hudi搭建1、下载maven安装包2.解压并配置环境变量1.解压安装包2.配置环境变量3、maven仓库配置1.打开文件2.输入以下内容4、验证maven仓库是否配置完成5、编译打包hudi1.解压文件2.配置相关配置信息3.编译 hudi搭建对于hudi的安装，我们需要自己下载包进行编译。hudi下载地址Index of /dist/hudi (apache.org) ，下面是hudi编译的详细步骤： 1、下载maven安装包 maven下载地址为：https://maven.apache.o

Hudi0.14.0最新编译（修订版）

跟着大数据和AI去旅行

01-15

490

Hudi0.14.0 最新编译（修订版）

Hudi0.14.0集成Spark3.2.3（Spark Shell方式）

跟着大数据和AI去旅行

01-23

512

Hudi 0.14.0 集成spark 3.2.3 Spark Shell方式

基于 Ubuntu 玩转 Hudi Docker Demo （1）—— 集群安装

修破立生

02-09

1567

基于 Ubuntu 玩转 Hudi Docker Demo 本文主要内容如下： - 环境准备，Docker，kafkacat, jp安装， /etc/hosts 文件修改等 - Hudi 编译 - 基于 Docker 搭建测试集群，包含 hdfs/hive/spark/presto 等组件

使用Spark操作Hudi表详细教程

Denny辉的博客

01-14

1702

使用Spark操作hudi表教程和问题排错

hudi记录

qq_15138049的博客

06-28

2265

hudi

Hudi第一章：编译安装

weixin_50835854的博客

09-24

1327

Apache Hudi（发音为“连帽衫”）是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、和并发性，同时将数据保留为开源文件格式。Apache Hudi 不仅非常适合流式处理工作负载，而且还允许您创建高效的增量批处理管道。