【Flink 实战系列】Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

已于 2022-10-09 13:21:26 修改
阅读量1.5k 收藏 5
点赞数
分类专栏： Flink 实战系列 文章标签： kafka flink sql hudi
于 2022-10-06 18:47:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/127186262
版权
本文介绍了如何使用 Flink SQL 实时从 Kafka 同步数据到 Hudi（parquet + snappy），并自动同步到 Hive。通过 Flink 1.15.x 和 Hudi 0.12.0 版本，展示了创建 Kafka source、Hudi sink 的 DDL，以及 INSERT DML 语句。文章还详细讲解了 Hive 表的创建、数据加载和查询，以及遇到的问题及解决方案，包括 Hive 输入格式错误和依赖 jar 包的添加。
摘要由CSDN通过智能技术生成

Flink SQL 实时同步 Kafka 数据到 Hudi（parquet + snappy）并且自动同步数据到 Hive

821816dfbab2e543e473fa2413cfd7fe

今天这篇文章主要来介绍一下 Flink 流式写入 Hudi，并把数据加载到 Hive 表里做查询的两种方式，为了方便演示，下文采用 sql client 的方式提交任务，不写一行代码，纯 SQL 的方式来完成。

版本信息

Flink 1.15.1
Hadoop 2.9.0
Hudi 0.12.0
Kafka 2.4.1

需要注意的是 Flink 1.15.x 版本对应的 Hudi 必须使用 0.12.0 及以上版本，因为 Hudi 0.12.0 版本才开始支持 Flink 1.15.0 版本。

jar 包依赖

了解本专栏 订阅专栏 解锁全文 超级会员免费看
JasonLee实时计算
关注
专栏目录
订阅专栏
Flink实战（七十八）：flink-sql使用（六）Flink 与 hive 结合使用（一）配置
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 878
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1 hive 安装hive，使用mysql做为元数据存储 1.2 hive-site.xml 配置 （版本3.1.2） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <pr.
Flink实战之Kafka To Hive
weixin_41608066的博客
11-24 1921
背景 传统的入库任务一般借助于MapReduce或者Spark来写hive表，一般都是天级别最多小时级别的任务。随着实时性要求越来越高，传统的入库不太能满足需求。Flink完全基于流式处理，同时也支持了写Hive表。本文介绍一下如果通过FlinkSQL实现kafka数据入库hive，并能够实时可查。 Hive Catalog 由于写hive表必须基于hive catalog，所以需要注册hive catalog。同时可以在一个job内切换catalog，如果我们不想把kafka的source table注册
Flink SQL kafka连接器
最新发布
大头皮鞋的博客
07-07 1721
Flink SQL kafka连接器
Flink实时数仓——kafka入库Hive
gf18381303772的博客
05-09 1115
实时数仓和离线数仓一样，为了问题追溯，也需要将业务数据持续化到数据库中，这里，将业务系统的数据生产到kafka，然后利用hive去消费kafka中的数据，其中不做任何处理，将全部数据入库，相当于离线数仓中的ODS层。 接下来，直接上代码了，代码中都有详细的注释。 第一部分，主程序： import com.migudm.flink001.utils.KafkaSourceHelper; import com.migudm.flink001.utils.b...
streamX 平台 采用flink sql 读取 kafka 的数据写入 hive
zuixue_lei的博客
05-13 1987
组件：streamX、flink 1.12、hive 2.x 一、查询 flink 官网，找寻写hive 的信息。 Apache Flink 1.12 Documentation: Hive 信息找寻步骤： 1、先找到 flink 连接外部信息的目录。 2、因为我们是要采用 flink sql 的方式，所以要看 table&sql。 3、找到 hive。 4、先看概览。 在 “概览” 中，有连接 hive 的信息：...
flink sql kafka写数据到hive
weixin_41197407的博客
05-27 2532
step1:flink连接hive配置 首先确保启动hive metastore远程服务 flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下： 新建hive-conf文件夹： hive-site.xml配置 <configuration> <property> <nam
flink1.11 消费kafka 流式写入hive
weixin_42094092的博客
08-12 2204
目前网上对于flinksql1.11消费kafka流式写入hive资料比较少,且大多是直接在flink中新建kafka表写入hive,但对多层嵌套的json解析不知支持力度几何 ,我这是使用streaming api 消费kafka先将json解析拉平,再转成临时表,最后流式写入hive,且看代码: package com.xxx.xxx import java.sql.Timestamp import java.util.Properties import java.time.Duration impo
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
JasonLee实时计算
10-05 1612
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。
【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩
JasonLee实时计算
10-04 1688
这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们自定义的通用反序列化类 PoJoDeserializationSchema 直接把 JSON 格式的数据转成 JasonLeePOJO 对象。提交任务这里就省略了，我们直接在 hive 创建个表，然后把 HDFS 上的数据加载进来，看看能否正常读取出来。
flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive
阿华田的博客
03-31 1373
为了实现hive, trino等组件实时查询hudi表的数据，可以通过使用Hive sync。在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和Hive元数据管理是不同的。所以说为了兼容Hive metastore，Hudi需要实时从Timeline同步元数据到Hive metastore。
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
flink 1.4版本flink table方式消费kafka写入hive方式踩坑
JAdroid的博客
03-07 3459
最近在搞flink，搞了一个当前比较新的版本试了一下，当时运行了很长时间，hdfs里面查询有文件，但是hive里面查询这个表为空，后面用了很多种方式，一些是说自己去刷新hive表，如下： 第一种方式刷新 alter table t_kafkamsg2hivetable add partition(dt='2022-03-04',hr=11); 第二种方式刷新，也可以说是修复 msck repair table t_kafkamsg2hivetable; 看了很多博客，最后还是在官网找到答案，先贴代码
消息推送平台的实时数仓？flink消费kafka消息入到hive
qq13321123的博客
05-11 773
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。
消息推送平台的实时数仓？！flink消费kafka消息入到hive
xxxzzzqqq_的博客
05-11 332
这数据仓库整个安装环境和调试过程确实折腾人，多次推倒重来（甚至不惜重装系统重来）。还好最后输入Kafka一条消息，在hive表里能看到一条记录，能看到结果之后，折腾或许是值得的。
flink sql 实现 将kafka 数据写入 Hudi
dudu146863的博客
09-15 3110
一. 启动kafka生产者造数据 二. 使用Flink connector kafka 映射kafka topic 三. 使用 hudi connector 创建hudi表 四. 将kafka表的数据写入到hudi表中 五. 查询hudi表数据 六. 在kafka的producer的发送数据,然后在客户端进行hudi表数据查询,发现数据都过来了. 七. 在FlinkSQL客户端直接进行表关联 7.1 启动kafka生活者,生产数据 7.2 在Flink SQL客户端创建对应的映射表 7.3
hudi_on_flink
sinat_42671149的博客
03-16 712
hudi_on_flink 下载hudi 首先 在github官网下载hudi的包 https://github.com/apache/hudi/tree/release-0.7.0 并编译,自己编译可能会出错 或者到maven仓库直接下载编译好的jar包 ：https://repository.apache.org/#nexus-search;quick~hudi 编写hudi配置文件以及表元数据文件 元数据配置表以及配置信息：我是把这俩个文件上传到hdfs上的,这个也是支持本地的 需要把hdfs://
Flink SQL Kafka写入Hudi详解
一个数据小开发的博客
04-13 4424
Flink读写Hudi案列详解
flink sql读取kafka数据写入数据湖Apache Hudi
JustinMars的博客
02-15 851
创建生产者 [bigdata@bigdata1 bin]$ sh kafka-console-producer.sh --broker-list bigdata1:9092,bigdata2:9092,bigdata3:9092 --topic test_topic >{"id":13,"name":"justin"} 创建kafka表 CREATE TABLE user_behavior ( id BIGINT, name STRING ) WITH ( 'connecto.
flink 实时同步kafka数据到hdfs
05-26
Apache Flink 是一个流处理框架，支持实时数据处理和批处理。Flink 可以轻松地与 Apache Kafka 集成，实现从 Kafka 中读取数据并将其写入 HDFS。 下面是实现实时同步 Kafka 数据到 HDFS 的基本步骤： 1. 在 Flink 中引入 Kafka 和 HDFS 的依赖。 2. 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数。 3. 创建一个 Kafka 数据源，并从 Kafka 中读取数据。 4. 对读取的数据进行转换和处理。 5. 将处理后的数据写入 HDFS 中。 以下是一个基本的示例代码： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.core.fs.FileSystem.WriteMode; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer09; public class KafkaToHDFS { public static void main(String[] args) throws Exception { // 从命令行参数中读取参数 final ParameterTool params = ParameterTool.fromArgs(args); // 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(params.getInt("parallelism", 1)); // 设置 Kafka 数据源 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); FlinkKafkaConsumer09<String> consumer = new FlinkKafkaConsumer09<>( params.getRequired("topic"), new SimpleStringSchema(), props); // 从 Kafka 中读取数据 DataStream<String> stream = env.addSource(consumer); // 对读取的数据进行转换和处理 DataStream<String> transformed = stream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 进行转换和处理 return value.toUpperCase(); } }); // 将处理后的数据写入 HDFS 中 transformed.writeAsText(params.getRequired("output"), WriteMode.OVERWRITE); // 执行任务 env.execute("KafkaToHDFS"); } } ``` 在执行上述代码之前，需要先将 Flink 的依赖添加到项目中，并修改示例代码中的相关配置参数，如 Kafka 的连接地址、topic 名称和 HDFS 的输出路径等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值