流式数据湖平台实战 | HudiSQL DML

shangjg3

已于 2023-10-11 21:55:09 修改

阅读量494

点赞数

分类专栏：数据湖Hudi 文章标签：大数据数据仓库 spark sql

于 2023-10-09 07:20:26 首次发布

本文链接：https://blog.csdn.net/shangjg03/article/details/133615449

版权

数据湖Hudi 专栏收录该内容

12 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用SparkSQL与Hudi表进行数据操作，包括INSERT INTO、INSERT OVERWRITE、UPDATE、MERGE INTO和DELETE FROM等DML语句的用法，以及数据跳过和索引在加速执行中的作用。

摘要由CSDN通过智能技术生成

本文介绍SparkSQL提供的几个数据操作语言（DML）操作，用于与Hudi表交互。这些操作包括插入、更新、合并和删除Hudi表中的数据。

1.Insert Into

使用INSERT INTO语句使用Spark SQL将数据添加到Hudi表中。以下是一些示例：

INSERT INTO <table>  SELECT <columns> FROM <source>;

从0.14.0开始，不推荐使用hoodie.sql.bulk.insert.enable和hoodie.sql.insert.mode。用户应该使用hoodie.spark.sql.insert.into.operation。要使用INSERT INTO管理重复项，请查看INSERT dup策略配置。

-- Insert into a copy-on-write (COW) Hudi table
INSERT INTO hudi_cow_nonpcf_tbl SELECT 1, 'a1', 20;

-- Insert into a merge-on

了解本专栏

超级会员免费看