flink实战--flinkSQL写入hudi的四种方式

已于 2023-01-05 10:04:18 修改
阅读量2.1k 收藏 2
点赞数
分类专栏： Flink学习必读系列 文章标签： 数据库 mysql hudi flink flink 写入hudi
于 2023-01-04 15:05:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa518189/article/details/128548327
版权
本文介绍了使用 Flink SQL 写入 Hudi 的四种方式：bulk_insert、Index bootstrap、Changelog Mode 和 Insert Mode，详细讲解了各方式的基本特性、配置参数及实践案例，帮助读者根据业务需求选择合适的数据写入策略。
摘要由CSDN通过智能技术生成

简介

        hudi官方提供了下面四种方式写入hudi，可以根据不通同的业务需求选择合适的写入方式。

  1. bulk_insert
  2. Index bootstrap
  3. Changelog Mode
  4. Insert Mode    

bulk_insert

用于快速导入快照数据到hudi。

基本特性

bulk_insert可以减少数据序列化以及合并操作，于此同时，该数据写入方式会跳过数据去重，所以用户需要保证数据的唯一性。

bulk_insert在批量写入模式中是更加有效率的。默认情况下，批量执行模式按照分区路径对输入记录进行排序，并将这些记录写入Hudi，该方式可以避免频繁切换文件句柄导致的写性能下降。

bulk_insert的并行度有write.tasks参数指定，并行度会影响小文件的数量。理论上来说，bulk_insert的并行度就是bucket的数量（特别是，当每个bucket写到最大文件大小时，它将转到新的文件句柄。最后，文件的数量将大于参数write.bucket.assign.tasks指定的数量 ）

可选配置参数

参数名称 是否必须 默认值 参
了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
使用Flink SQL插入数据到Apache Hudi
JustinMars的博客
02-08 950
利用Flink SQL插入数据到数据湖Hudi中
flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive
阿华田的博客
03-31 1433
为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。
FlinkSQL 写入 Hudi
jiangjiangaa666的博客
08-03 547
hudi支持flink 写入的方式有CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode and Append Mode。
Flink SQL Hudi 实战
hyunbar的博客
07-28 1196
官网httpsgiteehttps。
使用Flink SQL实时入湖Hudi/Hive
最新发布
光于前裕于后的博客
05-07 1574
Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通大数据平台，支持对数据的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。下面以我实际工作中遇到的问题，聊下湖仓一体的好处，如有不对，敬请指正。
flink读写hudi
MDZ_1122333322的博客
07-31 529
6: flink table api写入hudi数据，(数据来源于table表)
flink实战--flinkSQL读写hudi
阿华田的博客
12-29 2755
简介 Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景，Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。 Hudi on Flink写入方式 首先，Hudi 提供了一个在...
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
Laurence的技术博客
01-31 1046
本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后写入到 Hudi 表中。在测试过程中发现：启动写入作业后，Hudi 表中迟迟没有数据写入，而 Flink 作业也没有报错。实际上，这应该是一比较常见的问题，我们的测试环境并没有特别的配置，大多数初次进行集成的开发者，大概率都会遇到这一问题，
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 468
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
05_Hudi 集成 Flink、Streaming query、Flink SQL Writer、Flink SQL集成Kafka、Flink SQL写入Hudi、消费Kafka数据等
涂作权的博客
08-13 906
本文来自"黑马程序员"hudi课程5.第五章 Hudi 集成 Flink 5.1 安装Flink 1.12 5.2 快速入门 5.2.1 集成Flink概述 5.2.2 环境准备 5.2.3 创建表 5.2.4 插入数据 5.2.5 查询数据 5.2.6 更新数据 5.3 Streaming query 5.3.1 创建表 5.3.2 查询数据 5.3.3 插入数据 5.4 Flink SQL Writer 5.4.1 Flink SQL集成Kafka 5.4.2 Flink SQL写入Hudi 5.4.2
Hudi集成Flink-写入方式
chbxw
04-14 1913
参考： https://chbxw.blog.csdn.net/article/details/119841434。CDC(change data capture) 保证了完整数据变更，目前主要有两种方式。1、kafak 作为 源表，flinksql 消费kafka。1、使用 mysql-cdc 监听 binlog。3、将 kafka 中数据 写入 hudi。2、kafka 作为 sink表。接下来我们主要介绍 第二种方式。2、创建hudi目标表。3、写入sink 表。
Flink SQL Kafka写入Hudi详解
一个数据小开发的博客
04-13 4495
Flink读写Hudi案列详解
Hudi Flink Sql
乐乐的博客
04-23 1428
Maven <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>
Hudi系列19:Hudi写入模式
只是甲的博客
02-17 1001
Hudi写入模式
Hudi系列9:Flink SQL操作hudi表
只是甲的博客
01-31 1303
Flink SQL操作Hudi表 Flink Hudi集成
hudi_on_flink
sinat_42671149的博客
03-16 725
hudi_on_flink 下载hudi 首先 在github官网下载hudi的包 https://github.com/apache/hudi/tree/release-0.7.0 并编译,自己编译可能会出错 或者到maven仓库直接下载编译好的jar包 ：https://repository.apache.org/#nexus-search;quick~hudi 编写hudi配置文件以及表元数据文件 元数据配置表以及配置信息：我是把这俩个文件上传到hdfs上的,这个也是支持本地的 需要把hdfs://
Flink SQL 任务消费Kafka写hudi的性能调优总结
weixin_42450619的博客
12-06 1417
以上修改后，我们还把checkpoint的间隔时长从10分钟调整为5分钟了，因为现在每分钟从Kafka中消费的数据更多了，如果继续是10分钟的checkpoint间隔时长，则每次做checkpoint时需要写入到HDFS的数据量也会更大，做checkpoint花费的时间也会更久，任务背压的时间也就更长，任务反而不稳定。为了进一步验证我们的想法，我们创建了一个测试任务，消费我们的Kafka，消费的数据直接写入到blackhole连接器中，这样就可以测出Kafka的读取性能而不受其他算子或者网络的影响。
Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式
Bulut0907
06-13 5886
目录1. CDC Ingestion 1. CDC Ingestion 有两种方式同步数据到Hudi 使用Flink CDC直接将Mysql的binlog日志同步到Hudi 数据先同步到Kafka/Pulsar等消息系统，然后再使用Flink cdc-format将数据同步到Hudi 注意：1. 如果upstream不能保证数据的order，则需要显式指定write.precombine.field 2. MOR类型的表，还不能处理delete，所以会导致数据不一致。可以通过changelog.enab
Hudi系列10:Flink流式插入
只是甲的博客
01-31 770
Flink 流式插入
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值