2024年使用Spark操作Hudi表详细教程_spark读取hudi(1)

验证：

val df = spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
df.createOrReplaceTempView(“hudi_mor_tbl_shell”)

spark.sql(“select * from hudi_mor_tbl_shell”).show()

### 普通查询

val df = spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
df.createOrReplaceTempView(“hudi_mor_tbl_shell”)

spark.sql(“select * from hudi_mor_tbl_shell”).show()

### 增量查询


首先再插入/修改一条数据，参见插入/修改数据。然后执行：

spark.
read.
format(“hudi”).
load(“hdfs:///hudi/hudi_mor_tbl_shell”).
createOrReplaceTempView(“hudi_mor_tbl_shell”)

val commits = spark.sql(“select distinct(_hoodie_commit_time) as commitTime from hudi_mor_tbl_shell order by commitTime desc”).map(k => k.getString(0)).take(50)
val beginTime = commits(commits.length - 1)

val idf = spark.read.format(“hudi”).
option(QUERY_TYPE_OPT_KEY, QUERY_TYPE_INCREMENTAL_OPT_VAL).
option(BEGIN_INSTANTTIME_OPT_KEY, beginTime).
load(“hdfs:///hudi/hudi_mor_tbl_shell”)
idf.createOrReplaceTempView(“hudi_mor_tbl_shell_incremental”)

spark.sql(“select \_hoodie\_commit\_time, id, name, price, ts from hudi_mor_tbl_shell_incremental”).show()

发现只取出了最近插入/修改后的数据。


### 修改数据

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(2, “a2”, 400.0, 2222L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(PRECOMBINE_FIELD_OPT_KEY, “ts”).
option(RECORDKEY_FIELD_OPT_KEY, “id”).
option(TABLE_NAME, “hudi_mor_tbl_shell”).
option(TABLE_TYPE_OPT_KEY, “MERGE_ON_READ”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)

验证方法使用普通查询。


### Insert overwrite

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(99, “a99”, 20.0, 900L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(OPERATION.key(),“insert_overwrite”).
option(PRECOMBINE_FIELD.key(), “ts”).
option(RECORDKEY_FIELD.key(), “id”).
option(TBL_NAME.key(), “hudi_mor_tbl_shell”).
option(TABLE_TYPE_OPT_KEY, “MERGE_ON_READ”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)

验证方法使用普通查询。发现只有新增的这一条数据。


### 删除数据

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val fields = Array(
StructField(“id”, IntegerType, true),
StructField(“name”, StringType, true),
StructField(“price”, DoubleType, true),
StructField(“ts”, LongType, true)
)
val simpleSchema = StructType(fields)
val data = Seq(Row(2, “a2”, 400.0, 2222L))
val df = spark.createDataFrame(data, simpleSchema)

df.write.format(“hudi”).
option(OPERATION_OPT_KEY,“delete”).
option(PRECOMBINE_FIELD_OPT_KEY, “ts”).
option(RECORDKEY_FIELD_OPT_KEY, “id”).
option(TABLE_NAME, “hudi_mor_tbl_shell”).
mode(Append).
save(“hdfs:///hudi/hudi_mor_tbl_shell”)

验证方法使用普通查询。


### Spark SQL方式


启动Hudi spark sql的方法：

./spark-sql
–master yarn
–conf ‘spark.serializer=org.apache.spark.serializer.KryoSerializer’
–conf ‘spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension’
–conf ‘spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog’

如果使用Hudi的版本为0.11.x，需要执行：

./spark-sql
–master yarn
–conf ‘spark.serializer=org.apache.spark.serializer.KryoSerializer’
–conf ‘spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension’

创建表：

create table hudi_mor_tbl (
id int,
name string,
price double,
ts bigint
) using hudi
tblproperties (
type = ‘mor’,
primaryKey = ‘id’,
preCombineField = ‘ts’
)
location ‘hdfs:///hudi/hudi_mor_tbl’;

验证：

show tables;

### 插入数据


SQL方式：

insert into hudi_mor_tbl select 1, ‘a1’, 20, 1000;

验证：

select * from hudi_mor_tbl;

### 普通查询


SQL方式：

select * from hudi_mor_tbl;

### 修改数据


SQL方式：

update hudi_mor_tbl set price = price * 2, ts = 1111 where id = 1;

验证：

select * from hudi_mor_tbl;

### insert overwrite


SQL方式：

insert overwrite hudi_mor_tbl select 99, ‘a99’, 20.0, 900;

验证：

select * from hudi_mor_tbl;

发现只有新增的这一条数据。


### 删除数据


SQL方式：

delete from hudi_mor_tbl where id % 2 = 1;

验证：

select * from hudi_mor_tbl;

### Kerberos和权限配置


例如，如果要允许Hudi用户对Hudi表进行操作，提交队列为default，表路径为hdfs:///hudi/t1，可以通过以下步骤使用Ranger进行设置：


1、在Ranger中创建一个名为hudi的用户。


2、分配给hudi用户以下目录的读写权限：/hdfs/hudi/t1，/tmp，/user/hudi。


3、赋予hudi用户对yarn default队列的权限。


如果启用了Kerberos，还需要执行以下额外步骤：


1、在Kerberos中创建hudi@PAULTECH.COM主体，并生成相应的keytab文件。


2、在执行kinit之后，确保hudi用户具有相应的权限以执行相关操作。


通过这些设置，Hudi用户应该能够在指定的表路径下执行操作，并具有必要的HDFS和YARN权限，确保了对应用程序的顺利运行。


### FAQ


**1、spark-sql或者spark-shell启动出现NoClassDefFoundError: org/apache/hadoop/shaded/javax/ws/rs/core/NoContentException**


问题日志：

Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/shaded/javax/ws/rs/core/NoContentException
at org.apache.hadoop.yarn.util.timeline.TimelineUtils.(TimelineUtils.java:60)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

clinit>(TimelineUtils.java:60)

[外链图片转存中…(img-4tqZCe6r-1714637270327)]
[外链图片转存中…(img-wKgRC6Uz-1714637270328)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！