flink实战--flinkSQL读写hudi

已于 2023-01-04 17:23:08 修改
阅读量2.6k 收藏 3
点赞数 1
分类专栏： Flink学习必读系列 hudi 文章标签： flink 大数据 big data
于 2021-12-29 17:23:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/122220118
版权

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FBNTE4MTg5,size_16,color_FFFFFF,t_70

简介

          Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景，Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

环境准备

         Hudi 有一个为 Flink 准备的 bundle jar，它应该在启动时加载到 Flink SQL Client 中。我们可以在路径下手动构建 jar hudi-source-dir/packaging/hudi-flink-bundle，或从

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink sql读取kafka数据写入数据湖Apache Hudi
JustinMars的博客
02-15 819
创建生产者 [bigdata@bigdata1 bin]$ sh kafka-console-producer.sh --broker-list bigdata1:9092,bigdata2:9092,bigdata3:9092 --topic test_topic >{"id":13,"name":"justin"} 创建kafka表 CREATE TABLE user_behavior ( id BIGINT, name STRING ) WITH ( 'connecto.
flinksql 实时查询hudi 的数据
wudonglianga的专栏
02-07 3327
1.版本 组件 版本 hudi 10.0 flink 13.5 2. 场景： 在flink 中新建一张表(t1)插入数据, 然后同时用过另外一张表进行查询(t2) 场景如图 3. t1 建表 CREATE TABLE t1( uuid VARCHAR(20), name VARCHAR(10), age INT, ts TIMESTAMP(3), `partition` VARCHAR(20) ) PARTITIONED BY (`part
使用Flink SQL实时入湖Hudi/Hive
光于前裕于后的博客
05-07 1272
Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通大数据平台，支持对数据的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。下面以我实际工作中遇到的问题，聊下湖仓一体的好处，如有不对，敬请指正。
FlinkSQL 写入 Hudi
jiangjiangaa666的博客
08-03 467
hudi支持flink 写入的方式有CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode and Append Mode。
Hudi-Flink SQL实时读取Hudi表数据
qq_38304392的博客
03-10 1377
代码如下(hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]) package com.zhen.hudi; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableEnvironment; /** * @Autho...
Hudi Flink Sql
乐乐的博客
04-23 1404
Maven <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version>
Flink SQL Hudi 实战
hyunbar的博客
07-28 1128
官网httpsgiteehttps。
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP
最新发布
05-22
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-...
Flink 实战 - 源码 java 源码demo
03-19
《Flink实战 - 源码》是一本深入解析Apache Flink实操技术的书籍，其配套的Java源码demo提供了丰富的示例，帮助读者更好地理解并应用Flink的各类功能。Flink作为一款强大的流处理和批处理框架，其核心在于对数据流的...
Flink SQL增量查询Hudi表
主要分享大数据相关的知识，如Spark、Hudi
12-08 3243
前面总结了Spark SQL增量查询Hudi表和Hive增量查询Hudi表。最近项目上也有Flink SQL增量查询Hudi表的需求，正好学习总结一下。地址：https://hudi.apache.org/cn/docs/querying_data#incremental-query 用show_commits看一下有哪些commits（这里查询用的是Hudi的master，因为show_commits是在0.11.0版本开始支持的，也可以通过使用hadoop命令查看.hoodie文件夹下的.commit文
Hudi系列9:Flink SQL操作hudi表
只是甲的博客
01-31 1227
Flink SQL操作Hudi表 Flink Hudi集成
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 409
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
flink kakfa 数据读写到hudi
wudonglianga的专栏
02-13 2167
flink kafka hudi 组件 版本 hudi 10.0 flink 13.5 1.2.flink lib 需要的jar 包 hudi-flink-bundle_2.12-0.10.0.jar flink-sql-connector-kafka_2.12-1.13.5.jar flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 下面是所有的jar 包 -rw-r--r-- 1 root root 7802399 1月 1 08:27 dor
flink sql 实现 将kafka 数据写入 Hudi
dudu146863的博客
09-15 3038
一. 启动kafka生产者造数据 二. 使用Flink connector kafka 映射kafka topic 三. 使用 hudi connector 创建hudi表 四. 将kafka表的数据写入到hudi表中 五. 查询hudi表数据 六. 在kafka的producer的发送数据,然后在客户端进行hudi表数据查询,发现数据都过来了. 七. 在FlinkSQL客户端直接进行表关联 7.1 启动kafka生活者,生产数据 7.2 在Flink SQL客户端创建对应的映射表 7.3
Flink SQL实现流批一体
大数据研习社
04-22 7741
1 Flink流批统一思想 1.1 有界流和无界流 在Flink中，批处理时流处理的一个特例。 1.2 Flink老架构与问题 1.从Flink用户角度（企业开发人员） （1）开发的时候，Flink SQL支持的不好，就需要在两个底层API中进行选择，甚至维护两套代码。 （2）不同的语义、不同的connector支持、不同的错误恢复策略等。 （3）Table API也会受不同的底层API、不同的connector等问题的影响。 2.从Flink开发者角度（Flink社区人员）
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值