hudi实战-- hudi on flink 参数配置大全

已于 2023-01-05 10:54:35 修改
阅读量948 收藏 1
点赞数
分类专栏： hudi Flink学习必读系列 文章标签： flink java 大数据
于 2023-01-05 10:31:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/128551758
版权

简介

           FlinkSQL读写hudi, 官方提供定义主键、写入方式、合并记录、启用/禁用异步压缩或选择要读取的查询类型等配置参数。可以根据业务类型合理的设置这些配置项，不仅可以提高Flink任务读写hudi的性能，还可以节约机器资源。本文将详细介绍hudi on flink 参数配置大全。

基本参数配置

1.path ：表的基本路径。如果该路径不存在，则会创建该路径

是否必填：是

2.hoodie.table.name ：表名

是否必填：是

3.table.type ：写入的表的类型

是否必填：否

默认值：COPY_ON_WRITE 

4.write.operation ：写入类型

是否必填：否

默认值：upsert

5.write.tasks ：写入任务的并行度，默认为 4

是否必填：否

默认值：4 

6.write.bucket_assign.tasks ： bucket assign 任务的并行度，默认为执行环境的并行度

是否必填：是

7.write.precombine &

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
30分钟掌握沧湖一体化：flink+hudi（干货，建议收藏）_flink hudi sink
m0_54903333的博客
04-28 543
最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份。将创建的mysql表，插入到hudi里。
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
hudi-flink核心参数设置
m0_71551473的博客
11-01 1425
Hudi参数设置-- 设置单个主键...) with (...)-- 设置联合主键f0 int,...) with (...)主键字段--支持主键语法 PRIMARY KEY 设置，支持逗号分隔的多个字段(0.13.0 之前版本为去重时间字段--record 合并的时候会按照该字段排序，选值较大的 record 为合并结果；不指定则为处理序：选择后到的 record并发参数名称说明默认值备注writer的并发，每个writer顺序写1~N个。
Hudi系列16:Hudi核心参数
只是甲的博客
02-07 1318
hudi常用参数
Hudi 数据湖技术之集成Flink
赵广陆
04-25 1418
目录 1 安装Flink 2 快速入门 2.1 集成Flink概述 2.2 环境准备 2.3 创建表 2.4 插入数据 2.5 查询数据 2.6 更新数据 3 Streaming query 3.1 创建表 3.2 查询数据 3.3 插入数据 4 Flink SQL Writer 4.1 Flink SQL集成Kafka 4.2 Flink SQL写入Hudi 4.2.1 创建Maven Module 4.2.2 消费Kafka数据 4.2.3 保存数据至Hudi 4.2.4 加载Hudi表数据
Hudi的相关参数配置
qq_44780870的博客
05-08 1089
hoodie.table.compaction.strategy: 压缩策略，包括 org.apache.hudi.DefaultCompactionStrategy、org.apache.hudi.AvroCompactionStrategy 和 org.apache.hudi.timeline.service.FIFOCleanBasedCompactionStrategy 等。hoodie.datasource.write.partitionpath.field: 分区键的字段名。
Hudi（四）集成Flink（2）
Yuan_CSDF的博客
05-31 1024
当前表，即读取最新的全量快照数据并一次性返回。通过参数 read.streaming.enabled 参数开启流读模式，通过 read.start-commit 参数指定起始消费位置，支持指定 earliest 从最早消费。
hudi-flink-bundle_2.11-0.10.0-SNAPSHOT.jar
12-31
hudi-flink-bundle_2.11-0.10.0包
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-flink1.17-bundle-0.14.0.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-flink1.14-bundle-0.12.2
05-05
flink1.14与hudi0.12.2的集成jar
Hudi（14）：Hudi集成Flink之核心参数设置
yang_shibiao的博客
01-30 1528
目录0. 相关文章链接1. 去重参数2. 并发参数2.1. 参数说明2.2. 案例演示3. 压缩参数3.1. 参数说明3.2. 案例演示4. 文件大小4.1. 参数说明4.2. 案例演示5. Hadoop 参数Flink可配参数官网地址：All Configurations | Apache Hudi Hudi文章汇总 通过如下语法设置主键： 名称说明默认值备注hoodie.datasource.write.recordkey.field主键字段--支持主键语法 PRIMARY
【数据湖Hudi的概念】Write Operation类型和Schema Evolution
Bulut0907
05-30 938
目录1. Write Operation类型2. Schema Evolution 1. Write Operation类型 类型如下： upsert(默认)：先查找索引，然后再进行insert或update insert：不查找索引，直接insert bulk_insert：对于表初始化时，进行几百TB数据的insert。数据insert时会进行排序 delete Soft Deletes：删除一条数据的时候，保留数据，但将其它字段设置为null Hard Deletes：进行physically r
Apache Hudi 从入门到放弃(3) —— Flink Sql写过程分析(上)
狄杰的博客
05-09 3996
背景介绍 上一期给大家讲述了Hudi中，MOR表的目录文件结构；本打算这一期讲一下COW表的目录文件，不过考虑到目前在实时读写入Hudi的场景下，用的最多的还是MOR表，所以暂时跳过COW表的文件分析，转而对hudi-flink模块进行深入理解；本次分析也仅涉及hudi-flink中的内容 另外，目前COW表已经支持Flink Streaming Read，有兴趣的可以试试看，我也会在之后的分享中从简单使用&原理分析来讲一讲COW表 欢迎大家指出我文章的不足，让我更进一步 源码分析 开始之前 Hud
【Hudi】Flink + Hudi 实践
Together
03-07 6367
前言 好久没有更新 “好” 文章了，内心很过意不去，怎么变的这么懒了，哈哈哈哈哈 正好，最近数据湖的概念火的一塌糊涂，特别是 Hudi ， 与 Flink 的结合越来越好，可以说 Flink + Hudi 就是未来的趋势，这不，我就来简单讲讲，给 “小白”当个引路人，让知识传播给大家，毕竟我也是从小白看着别人的文章过来的 Hudi 概述 Apache Hudi (简称：Hudi) 使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理
实战案例：Flink1.3.1 ON Hudi0.10，同步数据到Hive
微信公众号：大数据从业者
02-22 52
由于业务需要调研数据湖的使用，这里以Hudi0.10为例，使用的是CDH6.2.1的集群。 一、编译Hudi0.10 　　在centos7上编译，需要配置maven，安装scala环境和docker环境，使用集群环境为CDH6.2.1 maven配置 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /app# 配置环境变量export MAVEN_HOM...
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 5815
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
Flink-hudi 业务思考
weixin_42687074的博客
12-31 544
hudi一般用作ods入湖使用；公司简单业务展示；
数据湖架构Hudi（五）Hudi集成Flink案例详解
qq_44665283的博客
03-06 3555
数据湖架构Hudi（五）Hudi集成Flink案例详解
Hudi on flink
最新发布
01-26
Hudi on Flink是一种将Hudi与Flink结合使用的解决方案，它提供了一种实时化宽表数据的方法。Hudi是一种用于增量数据处理和实时数据湖建设的开源框架，而Flink是一种用于流式数据处理的开源框架。 Hudi on Flink的主要特点包括： 1. 支持批处理和流处理模式：Hudi on Flink可以同时支持批处理和流处理模式，使得用户可以根据自己的需求选择合适的处理方式。 2. 支持Flink SQL API：Hudi on Flink提供了对Flink SQL API的支持，使得用户可以使用SQL语句来操作和查询Hudi表。 3. 高效的索引方案：Hudi on Flink通过使用状态来实现高效的索引方案，从而提高了查询和更新的性能。 4. 支持UPDATE/DELETE操作：Hudi on Flink具有优秀的设计，可以支持更新和删除操作，使得数据的变更更加灵活和高效。 5. 适用于CDC数据入湖：由于Hudi on Flink的优秀设计和性能，它成为了当前最有潜力的CDC数据入湖方案。 总结起来，Hudi on Flink是一种将Hudi和Flink结合使用的解决方案，它可以实现宽表数据的实时化处理，并提供了高效的索引方案和支持UPDATE/DELETE操作的能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值