Hudi Hive Sync 实操

最新推荐文章于 2024-05-16 03:42:22 发布
置顶 最新推荐文章于 2024-05-16 03:42:22 发布
阅读量3.8k 收藏 12
点赞数 2
分类专栏： Hudi Spark 文章标签： 大数据 spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjl18309163914/article/details/107844269
版权

文章目录

Maven配置

<dependencies>
    <dependency>
        <groupId>org.apache.hudi</groupId>
        <artifactId>hudi-common</artifactId>
        <version>0.5.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-avro_2.11</artifactId>
        <version>2.4.6</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hudi</groupId>
        <artifactId>hudi-spark_2.11</artifactId>
        <version>0.5.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hudi</groupId>
        <artifactId>hudi-spark-bundle_2.11</artifactId>
        <version>0.5.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.4.6</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.6</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.6</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.4.6</version>
    </dependency>

    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-reflect</artifactId>
        <version>2.11.8</version>
    </dependency>

    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.19</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>2.3.4</version>
    </dependency>
</dependencies>

数据准备

测试数据

uuid,name,addr,phone,update_date,bir_date

1,逝去的青春,上海市宝山区,183****1111,20200805,20020101
2,葬爱,上海市虹口区,183****2222,20200805,20020101
3,罙罙の回憶,上海市虹口区,183****3333,20200805,20020101
4,忘了天空的颜色,上海市虹口区,183****4444,20200805,20020101
5,李彦龙,上海市松江区,183****5555,20200801,20010101
6,李浩鹏,上海市松江区,183****6666,20200801,20010101
7,李天一,上海市松江区,183****7777,20200801,20010101
8,李朵雯,上海市松江区,183****8888,20200801,20010101
9,李雨杭,上海市松江区,183****9999,20200801,20010101
10,王满,杭州市西湖区,153****0000,20200802,20000101
11,王琳,杭州市西湖区,153****1111,20200802,20000101
12,王昕,杭州市西湖区,153****2222,20200802,20000101
13,贾一一,杭州市西湖区,153****3333,20200802,20000101
14,石浩,西安市莲湖区,137****4444,20200803,19970101
15,石子彤,西安市莲湖区,137****5555,20200803,19970101
16,许放炮的,西安市莲湖区,137****6666,20200803,19970101

建表

把测试数据导入hive

CREATE TABLE `hudi.user_info_demo`(
  `uuid` string, 
  `name` string, 
  `addr` string, 
  `phone` string, 
  `update_date` string, 
  `bir_date` string
) stored as parquet

测试数据入库

case class UserInfo(uuid: String, name: String, addr: String, phone: String, update_date: String, bir_date: String)
val sparkSession: SparkSession = SparkSession.builder()
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    .appName("Hudi Test")
    .master("local[*]")
    .enableHiveSupport()
    .getOrCreate()

@Test
def write2hive(): Unit = {
    import sparkSession.implicits._
    val userInfoDF: DataFrame = sparkSession.sparkContext.textFile("src/main/resources/hive_test/user_info.txt")
      .filter(_.nonEmpty)
      .map(line => {
        val arr: Array[String] = line.split(",")
        UserInfo(arr(0), arr(1), arr(2), arr(3), arr(4), arr(5))
      }).toDF()
    userInfoDF.coalesce(1).createOrReplaceTempView("tmp")
    sparkSession.sql("insert into table hudi.user_info_demo select * from tmp")
}

测试数据入库展示

Sync Copy_on_Write

Hudi新增同步Hive


import org.apache.hudi.{DataSourceReadOptions, DataSourceWriteOptions}
import org.apache.hudi.config.{HoodieIndexConfig, HoodieWriteConfig}
import org.apache.hudi.index.HoodieIndex
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
import org.junit.Test
import org.apache.spark.sql.functions._

@Test
def sync2Hive(): Unit = {
    val sourceDF: DataFrame = sparkSession.sql("select * from hudi.user_info_demo")

    sourceDF
      .withColumn("bir_date", from_unixtime(unix_timestamp(col("bir_date"), "yyyyMMdd"), "yyyy/MM/dd"))
      .write
      .format("org.apache.hudi")
      // 唯一id列名，可以指定多个字段
      .option(DataSourceWriteOptions.RECORDKEY_FIELD_OPT_KEY, "uuid") 
      // 指定更新字段，该字段数值大的会覆盖小的
      .option(DataSourceWriteOptions.PRECOMBINE_FIELD_OPT_KEY, "update_date")
      // 指定 partitionpath
      .option(DataSourceWriteOptions.PARTITIONPATH_FIELD_OPT_KEY, "bir_date")
      // 当前数据的分区变更时，数据的分区目录是否变化
      .option(HoodieIndexConfig.BLOOM_INDEX_UPDATE_PARTITION_PATH, "true") 
      //设置索引类型目前有HBASE,INMEMORY,BLOOM,GLOBAL_BLOOM 四种索引 为了保证分区变更后能找到必须设置全局GLOBAL_BLOOM
      .option(HoodieIndexConfig.INDEX_TYPE_PROP, HoodieIndex.IndexType.GLOBAL_BLOOM.name())
      // hudi table名
      .option(HoodieWriteConfig.TABLE_NAME, "hudi_hive_sync")
      // 设置并行度
      .option("hoodie.insert.shuffle.parallelism", "2")
      .option("hoodie.upsert.shuffle.parallelism", "2")
      // 同步hive参数
      // hive database
      .option(DataSourceWriteOptions.HIVE_DATABASE_OPT_KEY, "hudi")
      // hive table
      .option(DataSourceWriteOptions.HIVE_TABLE_OPT_KEY, "hudi_hive_sync")
      // 设置数据集注册并同步到hive
      .option(DataSourceWriteOptions.HIVE_SYNC_ENABLED_OPT_KEY, "true")
      // hive表分区字段
      .option(DataSourceWriteOptions.HIVE_PARTITION_FIELDS_OPT_KEY, "bir_year,bir_month,bir_day")
      // hiveserver2 地址
      .option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")
      // 从partitionpath中提取hive分区对应的值，MultiPartKeysValueExtractor使用的是"/"分割
      // 此处可以自己实现，继承PartitionValueExtractor 重写 extractPartitionValuesInPath(partitionPath: String)方法即可
      // 写法可以点进MultiPartKeysValueExtractor类中查看
      .option(DataSourceWriteOptions.HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY, "org.apache.hudi.hive.MultiPartKeysValueExtractor")
      .mode(SaveMode.Append)
      .save("hdfs://localhost:8020/user/hive/warehouse/hudi.db/hudi_hive_sync")
}

有关partitionPath的问题点这里

查看写入hive的表结构

CREATE EXTERNAL TABLE `hudi_hive_sync7`(
  `_hoodie_commit_time` string, 
  `_hoodie_commit_seqno` string, 
  `_hoodie_record_key` string, 
  `_hoodie_partition_path` string, 
  `_hoodie_file_name` string, 
  `uuid` string, 
  `name` string, 
  `addr` string, 
  `phone` string, 
  `update_date` string, 
  `bir_date` string)
PARTITIONED BY ( 
  `bir_year` string, 
  `bir_month` string, 
  `bir_day` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hudi.hadoop.HoodieParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  'hdfs://localhost:8020/user/hive/warehouse/hudi.db/hudi_hive_sync7'
TBLPROPERTIES (
  'bucketing_version'='2', 
  'last_commit_time_sync'='20200806161512', 
  'transient_lastDdlTime'='1596700622')

查看写入hive的数据

在这里插入图片描述

查看hdfs目录结构

在这里插入图片描述
在这里插入图片描述

Hudi更新同步Hive

@Test
def update2Hive(): Unit = {
    val sourceDF: DataFrame = sparkSession.sql("select * from hudi.user_info_demo")
    
    // 对原始数据做一些修改
    val reault = sourceDF
      .where(col("bir_date") === "19970101")
      .withColumn("bir_date", from_unixtime(unix_timestamp(col("bir_date"), "yyyyMMdd"), "yyyy/MM/dd"))
      .withColumn("update_date", lit("20200806"))
      .withColumn("name", lit("世界和平"))

    reault
      .write
      .format("org.apache.hudi")
      .option(DataSourceWriteOptions.RECORDKEY_FIELD_OPT_KEY, "uuid")
      .option(DataSourceWriteOptions.PRECOMBINE_FIELD_OPT_KEY, "update_date")
      .option(DataSourceWriteOptions.PARTITIONPATH_FIELD_OPT_KEY, "bir_date")
      .option(HoodieIndexConfig.BLOOM_INDEX_UPDATE_PARTITION_PATH, "true")
      .option(HoodieIndexConfig.INDEX_TYPE_PROP, HoodieIndex.IndexType.GLOBAL_BLOOM.name())
      .option(HoodieWriteConfig.TABLE_NAME, "hudi_hive_sync")
      .option("hoodie.insert.shuffle.parallelism", "2")
      .option("hoodie.upsert.shuffle.parallelism", "2")
      // 同步hive参数
      .option(DataSourceWriteOptions.HIVE_DATABASE_OPT_KEY, "hudi")
      .option(DataSourceWriteOptions.HIVE_TABLE_OPT_KEY, "hudi_hive_sync")
      .option(DataSourceWriteOptions.HIVE_SYNC_ENABLED_OPT_KEY, "true")
      .option(DataSourceWriteOptions.HIVE_PARTITION_FIELDS_OPT_KEY, "bir_year,bir_month,bir_day")
      .option(DataSourceWriteOptions.HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY, "org.apache.hudi.hive.MultiPartKeysValueExtractor")
      .option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000")
      .mode(SaveMode.Append)
      .save("hdfs://localhost:8020/user/hive/warehouse/hudi.db/hudi_hive_sync")
}

查看更新后的数据

在这里插入图片描述

读取Hudi增量视图

@Test
def readIncrementView(): Unit = {
    sparkSession.read
      .format("org.apache.hudi")
      .option(DataSourceReadOptions.QUERY_TYPE_OPT_KEY, DataSourceReadOptions.QUERY_TYPE_INCREMENTAL_OPT_VAL)
      .option(DataSourceReadOptions.BEGIN_INSTANTTIME_OPT_KEY, "20200806155654")
      .option(DataSourceReadOptions.END_INSTANTTIME_OPT_KEY, "20200806161512")
      .load("hdfs://localhost:8020/user/hive/warehouse/hudi.db/hudi_hive_sync")
      .show(false)
}

增量视图读取结果

+-------------------+--------------------+------------------+----------------------+---------------------------------------------------------------------+----+--------+------------+-----------+-----------+----------+
|_hoodie_commit_time|_hoodie_commit_seqno|_hoodie_record_key|_hoodie_partition_path|_hoodie_file_name                                                    |uuid|name    |addr        |phone      |update_date|bir_date  |
+-------------------+--------------------+------------------+----------------------+---------------------------------------------------------------------+----+--------+------------+-----------+-----------+----------+
|20200806161512     |20200806161512_0_1  |15                |1997/01/01            |34067f9f-3dc5-4716-838d-f8b4129095f9-0_0-22-32_20200806161512.parquet|15  |世界和平|西安市莲湖区|137****5555|20200806   |1997/01/01|
|20200806161512     |20200806161512_0_2  |14                |1997/01/01            |34067f9f-3dc5-4716-838d-f8b4129095f9-0_0-22-32_20200806161512.parquet|14  |世界和平|西安市莲湖区|137****4444|20200806   |1997/01/01|
|20200806161512     |20200806161512_0_3  |16                |1997/01/01            |34067f9f-3dc5-4716-838d-f8b4129095f9-0_0-22-32_20200806161512.parquet|16  |世界和平|西安市莲湖区|137****6666|20200806   |1997/01/01|
+-------------------+--------------------+------------------+----------------------+---------------------------------------------------------------------+----+--------+------------+-----------+-----------+----------+
啦啦乐乐
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Hudi表自动同步至阿里云数据湖分析DLA
xleesf
08-10 585
1. 引入 Hudi 0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型MetaStore中，如阿里云的数据湖分析DLA(https://www.aliyun.com/product/datalakeanalytics中。 2. 抽象 将Hudi表同步至Hive MetaStore的代
Hudi系列15:Hudi元数据同步到Hive
只是甲的博客
02-06 1730
Hudi元数据同步到Hive
最全使用Spark操作Hudi表详细教程_spark sql操作hudi(1)，中高级大数据开发面试中你不得不会的知识点
最新发布
2401_84181911的博客
05-16 937
验证方法使用普通查询。发现只有新增的这一条数据。
spark处理数据落地Hudi同步HIVE(01)
HANG.NIAN
10-20 2790
注意本案是以HDFS离线数据为例 1 spark操作hive sparksql读取hive中的数据不需要hive参与 , 读取HDFS中的数据和mysql中的元数据信息即可 Sparksql本身就内置了hive功能 加载hive的数据，本质上是不需要hive参与的，因为hive的表数据就在hdfs中，hive的表定义信息在mysql中 不管数据还是定义，sparksql都可以直接去获取！ 步骤： 要在工程中添加spark-hive的依赖jar 要在工程中添加mysql连接驱动依赖jar..
Hudi（23）：Hudi集成Hive之同步
yang_shibiao的博客
02-10 1668
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
【Hudi数据湖】hudi集成hive同步元数据
Denny辉的博客
01-11 792
Spark/Flink可以使用Hive的metastore，但是Hive无法通过Hive metastore中的Spark/Flink表直接查询数据。为了解决这个问题，可以配置使用Hive sync。在Spark/Flink操作表的时候，自动同步Hive的元数据。这样就可以通过Hive查询Hudi表的内容。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。
使用spark操作hudi表
03-14
使用spark操作hudi表： 1、查询hudi表数据 2、查看hudi表结构信息
数据湖Hudi.doc
10-14
【数据湖Hudi详解】 Hudi，全称Hadoop Upsert Delta Store，是Apache Hadoop生态系统中的一个开源数据湖解决方案，特别设计用于处理大规模实时数据更新和查询。Hudi将流处理与大数据相结合，提供了实时数据更新的...
Hudi文档Hudi文档Hudi文档
03-17
Hudi文档Hudi文档Hudi文档
hudi learning.pdf
08-31
Apache Hudi 学习指南 Apache Hudi 是一个开源的数据管理系统，旨在处理大规模的分析数据集。它提供了流式处理能力，能够实时处理数据，同时具有高效性和灵活性。 Hudi 的主要特点 1. Incremental Database ...
带你彻底理解Hudi Upsert原理
04-05
- **Hive 元数据同步**：为了使 Hive 和 Presto 等查询引擎能查询到 Hudi 表的最新数据，Hudi 提供了同步 Hive 元数据的选项。这涉及到创建外部表的定义，使得查询引擎能够直接访问 Hudi 存储的数据。 - **提交成功...
hudi同步到hive的数据问题
qq_50166024的博客
01-09 1166
使用： /opt1/app/history-data/action-history -b node1:9092 -sd 2021-01-02 -ed 2021-01-06 -t news203 造数时， 如果第一次造数的量时1000条，那么同步到hive表也是1000条，最大值就是1000条。 如果第二次造数小于最大值，数据就添加不进去，所以还是1000条， 如果第三次造数是1500条，你就会在hive中看到有数据增加了， 我遇到的问题就是：为什么有时候添加发现数据还是没变，嗯嗯，就是上面的原因， .
数据湖（五）：Hudi与Hive集成
Lansonli（蓝深李）的博客
05-30 3604
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
Hudi集成Hive
m0_37689903的博客
09-15 175
本文主要介绍了Hudi集成Hive
【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑
m0_66705151的博客
06-05 3302
一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。
查询数据不为空的数据_查询Hudi数据集
weixin_40005887的博客
12-06 538
欢迎关注微信公众号：ApacheHudi从概念上讲，Hudi物理存储一次数据到DFS上，同时在其上提供三个逻辑视图，如之前所述。 数据集同步到Hive Metastore后，它将提供由Hudi的自定义输入格式支持的Hive外部表。一旦提供了适当的Hudi捆绑包， 就可以通过Hive、Spark和Presto之类的常用查询引擎来查询数据集。具体来说，在写入过程中传递了两个由table name命名的...
Hudi系列13:Hudi集成Hive
只是甲的博客
02-02 3187
Hudi集成hive
Hudi-通过Hive查询hudi表数据
qq_38304392的博客
03-03 612
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 create database db_hudi; use db_hudi; CREATE EXTERNAL TABLE IF NOT EXISTS tbl_hudi_didi( order_id BIGINT, product_id ...
hive 1.21版本与hudi进行集成
weixin_35752645的博客
12-30 217
要在 Hive 1.2.1 版本中集成 Hudi，需要按照以下步骤进行操作： 下载并安装 Hudi，可以在其 GitHub 页面上找到最新版本的二进制文件。 将 Hudi 的 jar 包添加到 Hive 的 classpath 中。可以通过在 hive-env.sh 文件中设置 HIVE_AUX_JARS_PATH 环境变量来实现。 在 Hive 中使用 add jar 命令将 Hudi 的...
hudi hive 集成
07-28
Hudi和Hive的集成可以通过将Hudi表的数据映射为Hive外部表来实现。这样，Hive就可以方便地对Hudi表进行实时视图、读优化视图和增量查询。具体的步骤如下： 1. 首先，需要创建一个Hudi目录，并指定Hive的配置文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值