flink实战--flinkSQL读写hudi

已于 2023-01-04 17:23:08 修改
阅读量2.8k 收藏 3
点赞数 1
分类专栏： Flink学习必读系列 hudi 文章标签： flink 大数据 big data
于 2021-12-29 17:23:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/122220118
版权
本文介绍了Apache Flink如何与Hudi集成，利用Hudi的更新删除功能进行数据湖操作。通过Hudi的copy on write和merge on read两种写入方式，实现数据的高效管理。并提供了一个实战案例，演示了从Kafka数据源写入Hudi存储的过程，强调了预组合字段和主键设置的重要性。
摘要由CSDN通过智能技术生成

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FBNTE4MTg5,size_16,color_FFFFFF,t_70

简介

          Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景，Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

环境准备

         Hudi 有一个为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 513
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
flink sql读取kafka数据写入数据湖Apache Hudi
JustinMars的博客
02-15 902
创建生产者 [bigdata@bigdata1 bin]$ sh kafka-console-producer.sh --broker-list bigdata1:9092,bigdata2:9092,bigdata3:9092 --topic test_topic >{"id":13,"name":"justin"} 创建kafka表 CREATE TABLE user_behavior ( id BIGINT, name STRING ) WITH ( 'connecto.
FlinkSQL 写入 Hudi
jiangjiangaa666的博客
08-03 591
hudi支持flink 写入的方式有CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode and Append Mode。
flinksql 实时查询hudi 的数据
wudonglianga的专栏
02-07 3476
1.版本 组件 版本 hudi 10.0 flink 13.5 2. 场景： 在flink 中新建一张表(t1)插入数据, 然后同时用过另外一张表进行查询(t2) 场景如图 3. t1 建表 CREATE TABLE t1( uuid VARCHAR(20), name VARCHAR(10), age INT, ts TIMESTAMP(3), `partition` VARCHAR(20) ) PARTITIONED BY (`part
使用Flink SQL实时入湖Hudi/Hive
光于前裕于后的博客
05-07 1743
Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通大数据平台，支持对数据的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。下面以我实际工作中遇到的问题，聊下湖仓一体的好处，如有不对，敬请指正。
Hudi-Flink SQL实时读取Hudi表数据
qq_38304392的博客
03-10 1466
代码如下(hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]) package com.zhen.hudi; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableEnvironment; /** * @Autho...
Hudi Flink Sql
乐乐的博客
04-23 1439
Maven <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>
hudi实战-- hudi on flink 参数配置大全
阿华田的博客
01-05 1102
1.设置单个主键2.设置联合主键。
最全Doris实战——结合Flink构建极速易用的实时数仓_flink doris
2301_82241942的博客
05-04 1396
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。
最新Doris实战——结合Flink构建极速易用的实时数仓_flink doris(3)
2401_84182020的博客
05-04 931
从技术架构的角度对传统数据技术栈进行分析，会发现为了迎合不同场景的需求，往往会采用多种技术栈，例如对于 OLAP 场景的多维分析，一般使⽤ Doris 或 Kylin、 Druid。除此之外，为应对半结构化数据的分析需求，例如日志分析与检索场景，通常会使⽤ ES 进行分析；面对高并发点查询的 Data Serving 场景会使⽤ HBase等。其中涉及到的数据组件有数十种，高昂的使用成本和组件间兼容、维护及扩展带来的繁重压力成为企业必须要面临的问题。
Flink SQL Hudi 实战
hyunbar的博客
07-28 1218
官网httpsgiteehttps。
Flink SQL增量查询Hudi表
主要分享大数据相关的知识，如Spark、Hudi
12-08 3380
前面总结了Spark SQL增量查询Hudi表和Hive增量查询Hudi表。最近项目上也有Flink SQL增量查询Hudi表的需求，正好学习总结一下。地址：https://hudi.apache.org/cn/docs/querying_data#incremental-query 用show_commits看一下有哪些commits（这里查询用的是Hudi的master，因为show_commits是在0.11.0版本开始支持的，也可以通过使用hadoop命令查看.hoodie文件夹下的.commit文
Hudi系列9:Flink SQL操作hudi表
只是甲的博客
01-31 1345
Flink SQL操作Hudi表 Flink Hudi集成
Flink SQL+Hudi数据入湖与分析实践
最新发布
u010739163的博客
10-18 599
数据湖构建（Hudi）可以结合实时计算Flink版，以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。
flink kakfa 数据读写到hudi
wudonglianga的专栏
02-13 2244
flink kafka hudi 组件 版本 hudi 10.0 flink 13.5 1.2.flink lib 需要的jar 包 hudi-flink-bundle_2.12-0.10.0.jar flink-sql-connector-kafka_2.12-1.13.5.jar flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 下面是所有的jar 包 -rw-r--r-- 1 root root 7802399 1月 1 08:27 dor
flink sql 实现 将kafka 数据写入 Hudi
dudu146863的博客
09-15 3184
一. 启动kafka生产者造数据 二. 使用Flink connector kafka 映射kafka topic 三. 使用 hudi connector 创建hudi表 四. 将kafka表的数据写入到hudi表中 五. 查询hudi表数据 六. 在kafka的producer的发送数据,然后在客户端进行hudi表数据查询,发现数据都过来了. 七. 在FlinkSQL客户端直接进行表关联 7.1 启动kafka生活者,生产数据 7.2 在Flink SQL客户端创建对应的映射表 7.3
Flink的流数据SQL
VqhhMobile的博客
09-27 130
Flink的流数据SQL是一种用于处理流式数据的SQL查询语言，它允许开发人员使用熟悉的SQL语法来处理流数据。在本文中，我们将介绍如何使用Flink的流数据SQL进行流式数据处理，并提供相应的源代码示例。接下来，我们将使用Flink的流数据SQL来处理一个简单的示例数据集。总结起来，Flink的流数据SQL提供了一种简单且强大的方式来处理流式数据。通过使用Flink的流数据SQL，开发人员可以更加高效地处理和分析流式数据。通过以上步骤，我们就可以使用Flink的流数据SQL对流式数据进行处理。
FLink1.13.1+FlinkCDC2.0.2+Hudi0.10构建流批一体数仓
jekongoo的博客
09-28 2546
构建hudi （1）通过国内镜像拉取源码 git clone https://github.com/apache/hudi.git （2）修改pom.xml vim pom.xml -- 直接添加 <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/
Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学
xiaoyixiao_的博客
06-11 3587
Hudi数据湖-Flink、Spark湖仓一体、实时入湖保姆级教学
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值