使用Spark操作Hudi表详细教程_spark sql操作hudi(1)，2024年最新大数据开发面试题

最新推荐文章于 2024-08-24 17:05:29 发布
最新推荐文章于 2024-08-24 17:05:29 发布
阅读量321 收藏 8
点赞数 5
分类专栏： 程序员 文章标签： 大数据 spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84170190/article/details/137725004
版权

import org.apache.hudi.QuickstartUtils._
import scala.collection.JavaConversions._
import org.apache.spark.sql.SaveMode._
import org.apache.hudi.DataSourceReadOptions._
import org.apache.hudi.DataSourceWriteOptions._
import org.apache.hudi.config.HoodieWriteConfig._


### 插入数据

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(2, “a2”, 200.0, 100L))
val df = spark.createDataFrame(data, simpleSchema)
df.write.format(“hudi”).
option(PRECOMBINE_FIELD_OPT_KEY, “ts”).
option(RECORDKEY_FIELD_OPT_KEY, “id”).
option(TABLE_NAME, “hudi_mor_tbl_shell”).
option(TABLE_TYPE_OPT_KEY, “MERGE_ON_READ”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)


验证：

val df = spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
df.createOrReplaceTempView(“hudi_mor_tbl_shell”)

spark.sql(“select * from hudi_mor_tbl_shell”).show()


### 普通查询

val df = spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
df.createOrReplaceTempView(“hudi_mor_tbl_shell”)

spark.sql(“select * from hudi_mor_tbl_shell”).show()


### 增量查询


首先再插入/修改一条数据，参见插入/修改数据。然后执行：

spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”).
createOrReplaceTempView(“hudi_mor_tbl_shell”)

val commits = spark.sql(“select distinct(_hoodie_commit_time) as commitTime from hudi_mor_tbl_shell order by commitTime desc”).map(k => k.getString(0)).take(50)
val beginTime = commits(commits.length - 1)

val idf = spark.read.format(“hudi”).
option(QUERY_TYPE_OPT_KEY, QUERY_TYPE_INCREMENTAL_OPT_VAL).
option(BEGIN_INSTANTTIME_OPT_KEY, beginTime).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
idf.createOrReplaceTempView(“hudi_mor_tbl_shell_incremental”)

spark.sql(“select \_hoodie\_commit\_time, id, name, price, ts from hudi_mor_tbl_shell_incremental”).show()


发现只取出了最近插入/修改后的数据。


### 修改数据

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(2, “a2”, 400.0, 2222L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(PRECOMBINE_FIELD_OPT_KEY, “ts”).
option(RECORDKEY_FIELD_OPT_KEY, “id”).
option(TABLE_NAME, “hudi_mor_tbl_shell”).
option(TABLE_TYPE_OPT_KEY, “MERGE_ON_READ”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)


验证方法使用普通查询。


### Insert overwrite

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(99, “a99”, 20.0, 900L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(OPERATION.key(),“insert_overwrite”).
option(PRECOMBINE_FIELD.key(), “ts”).
option(RECORDKEY_FIELD.key(), “id”).
option(TBL_NAME.key(), “hudi_mor_tbl_shell”).
option(TABLE_TYPE_OPT_KEY, “MERGE_ON_READ”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)


验证方法使用普通查询。发现只有新增的这一条数据。


### 删除数据

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(2, “a2”, 400.0, 2222L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(OPERATION_OPT_KEY,“delete”).
option(PRECOMBINE_FIELD_OPT_KEY, “ts”).
option(RECORDKEY_FIELD_OPT_KEY, “id”).
option(TABLE_NAME, “hudi_mor_tbl_shell”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)


验证方法使用普通查询。


### Spark SQL方式


启动Hudi spark sql的方法：

./spark-sql
–master yarn
–conf ‘spark.serializer=org.apache.spark.serializer.KryoSerializer’
–conf ‘spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension’
–conf ‘spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog’


如果使用Hudi的版本为0.11.x，需要执行：

./spark-sql
–master yarn
–conf ‘spark.serializer=org.apache.spark.serializer.KryoSerializer’
–conf ‘spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension’


创建表：

create table hudi_mor_tbl (
id int,
name string,
price double,
ts bigint
) using hudi
tblproperties (
type = ‘mor’,
primaryKey = ‘id’,
preCombineField = ‘ts’
)
location ‘hdfs:///hudi/hudi_mor_tbl’;


验证：

show tables;


### 插入数据


SQL方式：

insert into hudi_mor_tbl select 1, ‘a1’, 20, 1000;


验证：

select * from hudi_mor_tbl;


### 普通查询


SQL方式：

select * from hudi_mor_tbl;


### 修改数据


SQL方式：

update hudi_mor_tbl set price = price * 2, ts = 1111 where id = 1;


验证：

select * from hudi_mor_tbl;


### insert overwrite


SQL方式：

insert overwrite hudi_mor_tbl select 99, ‘a99’, 20.0, 900;


验证：

select * from hudi_mor_tbl;


发现只有新增的这一条数据。


### 删除数据


SQL方式：

delete from hudi_mor_tbl where id % 2 = 1;


验证：

select * from hudi_mor_tbl;


### Kerberos和权限配置


例如，如果要允许Hudi用户对Hudi表进行操作，提交队列为default，表路径为hdfs:///hudi/t1，可以通过以下步骤使用Ranger进行设置：


1、在Ranger中创建一个名为hudi的用户。


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/c9d805b9c2ac94ea720a07e625b85de8.png)
![img](https://img-blog.csdnimg.cn/img_convert/e880e6250bcd3aad24c818e79d61b083.png)
![img](https://img-blog.csdnimg.cn/img_convert/1a0a0d2ebcc906a539ae038eefba2215.png)
![img](https://img-blog.csdnimg.cn/img_convert/c60056a88e776494d5d5a3a46f3b0318.png)
![img](https://img-blog.csdnimg.cn/img_convert/c94e7d248f07949991eec89b9964c882.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/86e6c4b4809fbde485f3e261777c5cd3.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

8dZq9-1713012784105)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-rTxJFG6W-1713012784105)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84170190
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sparksql操作Hudi
someInNeed的博客
04-18 2471
每次使用或者建表后要refresh db，和refresh tablename；
大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007
添柴程序猿的专栏
05-31 652
那么checkpoint就会回滚，不会影响数据一致性，那么如果在通知checkpoint成功的之后失败了，那么就会在initalizeSate方法中完成事务的提交，这样可以保证数据的一致性。kafka每个partition中的消息在写入时都是有序的，消费时，每个partition只能被每一个group中的一个消费者消费，保证了消费时也是有序的。在flink的web ui中可以看到数据倾斜的情况，就是每个subtask处理的数据量差距很大，例如有的只有一M 有的100M 这就是严重的数据倾斜了。
使用Spark操作Hudi表详细教程_spark sql操作hudi，2024年最新大数据开发小程序开发实例
2401_84181070的博客
04-15 1226
【代码】使用Spark操作Hudi表详细教程_spark sql操作hudi，2024年最新大数据开发小程序开发实例。
Hudi系列7:使用SparkSQL操作Hudi
只是甲的博客
01-13 1932
Spark SQL操作Hudi
spark结构化流集成Hudi的测试
码基的博客
10-14 1158
spark结构化流集成Hudi的测试 项目背景 ​ 传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此，展开了基于spark/flink流处理机制的（准）实时同步系统的开发。 ​ 然而实时同步数仓从一开始就面临两个挑战：第一，小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS
2024年大数据最全使用Spark操作Hudi表详细教程_spark读取hudi(1)，2024年最新hashmap面试题
2401_84160087的博客
05-05 650
【代码】2024年大数据最全使用Spark操作Hudi表详细教程_spark读取hudi(1)，2024年最新hashmap面试题。
大数据最全使用Spark操作Hudi表详细教程_spark sql操作hudi(3)，大数据开发面试题整理2024简书
2401_84181164的博客
05-15 305
【代码】大数据最全使用Spark操作Hudi表详细教程_spark sql操作hudi(3)，大数据开发面试题整理2024简书。
大数据面试题之Hudi(1)
自律给我自由
07-11 1021
大数据面试题之Hudi(1)
2024年大数据高频面试题(下篇）
热门推荐
program哲学
07-17 1万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
Spark操作Hudi数据湖
10-20
Spark操作Hudi数据湖是一种高效、可扩展的方式来管理和分析大规模数据湖。Hudi（Hadoop Upsert Delta Table）是Facebook开源的一个数据湖解决方案，它旨在为Hadoop生态系统提供实时更新、查询和增量处理的能力。Hudi...
hudi-spark3-bundle_2.12-0.10.0-SNAPSHOT.jar
11-27
spark读取hudi，hudi版本0.10
hudi-spark3.2-bundle_2.12-0.11.0.jar
06-28
配合文档
hudi-spark3.2-bundle-2.12-0.13.0.jar hudi sql 保存 extraMetadata
06-13
hudi-spark3.2-bundle-2.12-0.13.0.jar hudi sql 保存 extraMetadata
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
最新发布
m0_72599287的博客
08-24 869
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
Kafka运行机制（二）：消息确认，消息日志的存储和回收，生产者消息分区
dxh9231028的博客
08-19 864
生产者端，客户端在通过生产者生产消息时，需要知道消息是否发送成功，防止消息丢失或进行其他操作。消费者端，消费者也需要确认自己在消费数据后，提交偏移量是否成功，防止重复消费。
Kafka快速入门：Kafka驱动JavaApi的使用
dxh9231028的博客
08-20 709
Kafka的事务机制是一项强大的功能，旨在确保消息的原子性写入以及提供"Exactly Once"语义（EOS），特别适用于需要高度可靠性的数据流处理和分布式系统。
SpringBoot整合MQ
weixin_55772633的博客
08-24 365
springboot整合ActiveMQ提供了JmsMessagingTemplate对象作为客户端操作消息队列操作ActiveMQ需要配置ActiveMQ服务器地址，默认端口61616企业开发时通常使用监听器来处理消息队列中的消息，设置监听器使用注解@JmsListener配置jms的pub-sub-domain属性可以在点对点模型和发布订阅模型间切换消息模型。
Spark操作Hudi表：数据查询与结构探索
以下是使用Spark操作Hudi表的关键步骤和知识点： 1. **初始化环境**： 首先，确保你的开发环境已设置好Spark客户端。在这个例子中，你需要在`source/opt/poc_client/bigdata_env`和`source/opt/poc_client/Hudi/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值