flink实战--flinkSQL读写hudi

已于 2023-01-04 17:23:08 修改
阅读量2.6k 收藏 3
点赞数 1
分类专栏： Flink学习必读系列 hudi 文章标签： flink 大数据 big data
于 2021-12-29 17:23:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/122220118
版权

关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FBNTE4MTg5,size_16,color_FFFFFF,t_70

简介

          Apache Hudi 是目前最流行的数据湖解决方案之一，Data Lake Analytics 集成了 Hudi 服务高效的数据 MERGE（UPDATE/DELETE）场景，Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

环境准备

         Hudi 有一个为 Flink 准备的 bundle jar，它应该在启动时加载到 Flink SQL Client 中。我们可以在路径下手动构建 jar hudi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hudi-flink1.17-bundle-0.14.0-sources.jar
12-22
这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本
flinksql 实时查询hudi 的数据
wudonglianga的专栏
02-07 3323
1.版本 组件 版本 hudi 10.0 flink 13.5 2. 场景： 在flink 中新建一张表(t1)插入数据, 然后同时用过另外一张表进行查询(t2) 场景如图 3. t1 建表 CREATE TABLE t1( uuid VARCHAR(20), name VARCHAR(10), age INT, ts TIMESTAMP(3), `partition` VARCHAR(20) ) PARTITIONED BY (`part
Flink SQL Hudi 实战
hyunbar的博客
07-28 1125
官网httpsgiteehttps。
使用Flink SQL实时入湖Hudi/Hive
光于前裕于后的博客
05-07 1232
Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通大数据平台，支持对数据的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。下面以我实际工作中遇到的问题，聊下湖仓一体的好处，如有不对，敬请指正。
Flink教程-flink 1.11使用sql将流式数据写入文件系统
公众号[大数据技术与应用实战]，分享大数据实战案例
07-06 7170
flink 1.11 开始提供了一个file system connector，可以使用DDL创建一个table sink，然后使用sql的方法写入数据，文件系统可以是本地local file，hdfs等，支持的写入格式包括json、csv、avro、parquet、orc。此外还可以支持文件大小、写入时间等不同的文件滚动策略。写完分区文件之后，自动提交分区信息。
Flink SQL实现流批一体
大数据研习社
04-22 7729
1 Flink流批统一思想 1.1 有界流和无界流 在Flink中，批处理时流处理的一个特例。 1.2 Flink老架构与问题 1.从Flink用户角度（企业开发人员） （1）开发的时候，Flink SQL支持的不好，就需要在两个底层API中进行选择，甚至维护两套代码。 （2）不同的语义、不同的connector支持、不同的错误恢复策略等。 （3）Table API也会受不同的底层API、不同的connector等问题的影响。 2.从Flink开发者角度（Flink社区人员）
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP
最新发布
05-22
自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-jdbc连接SQLServer和SAP 自定义flink1.14-flink-connector-...
Flink 实战 - 源码 java 源码demo
03-19
《Flink实战 - 源码》是一本深入解析Apache Flink实操技术的书籍，其配套的Java源码demo提供了丰富的示例，帮助读者更好地理解并应用Flink的各类功能。Flink作为一款强大的流处理和批处理框架，其核心在于对数据流的...
Flink实时数仓---1，Flink SQL读取kafka实操，已经遇到的问题.....持续更新吧
qq_31866793的博客
05-20 3773
1，第一步很重要就是依赖的问题，因为是本地执行，所以最好有hadoop配置环境，没有的话会提示错误信息，自己百度一下，自己下载个winutils.exe ，然后配置环境变量 2，为了图方便直接贴上pom文件依赖（自己看哈，就是hive跟hadoop的依赖）： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xm...
flink sql读取kafka数据写入数据湖Apache Hudi
JustinMars的博客
02-15 814
创建生产者 [bigdata@bigdata1 bin]$ sh kafka-console-producer.sh --broker-list bigdata1:9092,bigdata2:9092,bigdata3:9092 --topic test_topic >{"id":13,"name":"justin"} 创建kafka表 CREATE TABLE user_behavior ( id BIGINT, name STRING ) WITH ( 'connecto.
FlinkSQL 写入 Hudi
jiangjiangaa666的博客
08-03 463
hudi支持flink 写入的方式有CDC Ingestion, Bulk Insert, Index Bootstrap, Changelog Mode and Append Mode。
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 398
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
使用Flink SQL插入数据到Apache Hudi
JustinMars的博客
02-08 919
利用Flink SQL插入数据到数据湖Hudi中
Flink SQL Kafka写入Hudi详解
一个数据小开发的博客
04-13 4303
Flink读写Hudi案列详解
Hudi Flink SQL代码示例及本地调试
主要分享大数据相关的知识，如Spark、Hudi
05-30 1104
之前在Flink Hudi DataStream API代码示例中总结了Hudi Flink DataStream API的代码及本地调试，并且在文中提到其实大家用Table API更多一些，但是我感觉Table API调试源码可能会比较难一点，因为可能会涉及到SQL解析，不清楚Table API的入口在哪里。但是在我总结的上篇文章Flink用户自定义连接器（Table API Connectors）学习总结。
Kafka-flinkSQL-hudi测试案例：
pingfanderen5的博客
05-30 645
Kafka-flinkSQL-hudi测试案例： 采用flink-generateConnector模拟生成流式数据到kafka中，然后通过flink-kafka-connect实时读取kafka中数据进行处理，实时将数据存入hudi中，最后又通过flink读取hudi的数据进行统计
Hudi-Flink SQL实时读取Hudi表数据
qq_38304392的博客
03-10 1374
代码如下(hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]) package com.zhen.hudi; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableEnvironment; /** * @Autho...
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值