【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

最新推荐文章于 2024-05-13 10:50:03 发布
最新推荐文章于 2024-05-13 10:50:03 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： Flink 实战系列 文章标签： kafka flink hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/127164070
版权

Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

在 Flink 1.15 版本对 Source 和 Sink 接口进行了重构，Flink 提供了 File Sink 来写 HDFS，今天这篇文章主要介绍一下如何使用新的接口同步数据到 HDFS 存储格式为 parquet 并且使用 snappy 压缩文件。

整个链路非常的简单，就是从 Kafka 读取数据后中间不做任何处理直接把数据写到 HDFS 上。

KafkaSource

KafkaSource<JasonLeePOJO> source =
        KafkaSource.<String>builder
了解本专栏 订阅专栏 解锁全文 超级会员免费看
JasonLee实时计算
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
JasonLee实时计算
10-05 1581
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。
flink消费kafka数据，生成parquet结构的数据写到hdfs
赶路人儿
07-31 5409
参考：
使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
最新发布
lhyandlwl的博客
05-13 971
在本文中，将介绍如何构建一个实时数据pipeline，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据存储到HDFS中。通过本文的介绍和示例代码，您现在应该了解如何使用Apache Spark构建一个实时数据流水线，从MySQL数据库读取数据，通过Kafka传输数据，最终将数据保存到HDFS中。
【Flink实战系列】Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）
JasonLee实时计算
06-13 5550
这篇文章主要介绍一下Flink使用StreamingFileSink写入HDFS怎么用snappy压缩，之前的文章介绍过了写入parquet格式的数据，当时也有星球里面的朋友问这种写法怎么压缩，我只是简单的回复了说可以用AvroParquetWriter,今天就来详细介绍一下具体怎么实现 我们首先来看一下AvroParquetWriter的源码 /** Create a new {@link AvroParquetWriter}. * * @param file a file path * @p
Flink SQL: 高效解析 Kafka 数据并存储为 Parquet 至 HDFS
击水三千里的专栏
12-11 1204
Flink SQL应用程序的结构是通过定义一系列任务来执行实时数据处理，这些任务创建必要的表和视图，处理数据，然后将结果插入指定的接收器。这项工作利用 Flink 的流处理能力以及 SQL 和 UDF 来转换和管理数据流
Flink写入HDFS（文本，parquet，parquet+snappy）
xiaozhaoshigedasb的博客
08-20 4107
flink版本：1.10.0 code: // 构建env环境 val env = StreamExecutionEnvironment.getExecutionEnvironment env.enableCheckpointing(1000*60) //1000*60 s一个checkpoint env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE) env.setSt
Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS
qyb1008的博客
05-27 1552
Flink接收kafka数据根据event time存储到相应目录文件并以parquet文件格式存储到HDFS需求描述系统环境概述基于BucketingSink在2.7版本以下的HDFS上实现实现思路根据event time存储到相应目录 需求描述 消费kafka的消息，根据数据的时间时间，将数据分小时的存入到HDFS中，如果利用textfile进行存储，将消耗大量的存储空间，并且查询也较慢，需要压缩成为parquet格式，减少空间，加快后序的处理速度。 数据格式:事件时间戳\t日志数据 系统环境 kafk
36、Flink 的 Formats 之Parquet 和 Orc Format
alanchanchn的专栏
11-16 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
Flink教程-flink 1.11 流式数据ORC格式写入file
公众号[大数据技术与应用实战]，分享大数据实战案例
07-05 5077
在flink中，StreamingFileSink是一个很重要的把流式数据写入文件系统的sink，可以支持写入行格式(json,csv等)的数据，以及列格式（orc、parquet）的数据。 hive作为一个广泛的数据存储，而ORC作为hive经过特殊优化的列式存储格式，在hive的存储格式中占有很重要的地位。今天我们主要讲一下使用StreamingFileSink将流式数据以ORC的格式写入hdfs、file等文件系统，这个功能是flink 1.11版本开始支持的。
FlinkSQL Kafka to Hive
L, there!
10-22 2214
import java.time.Duration import com.sm.common.conf.PropManager import com.sm.constants.Constants import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic} import org.apache.flink.streaming.api.environme.
使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包
03-15
本项目主要涉及的是如何使用Flink的Standalone模式从Kafka源获取数据，并将这些数据同步到ClickHouse存储系统中。下面我们将详细介绍这一过程的关键步骤和涉及的技术知识点。 1. **Flink Standalone模式**：Flink ...
Flink同步Hdfs数据到doris
10-19
本场景中，我们关注的是如何使用Flink将存储在Hadoop分布式文件系统（HDFS）上的数据同步到Doris分布式列式数据库。以下是关于这个主题的详细解释。 **Flink简介** Apache Flink是一个开源的流处理框架，支持批处理...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Spark 和 Flink 全方面对比(谁是下一代大数据流计算引擎?)
热门推荐
JasonLee实时计算
12-18 4万+
最近也是有很多同学问我spark和flink到底谁好,应该怎么选择,这也是近年来被问的最多的问题,也是经常被拿来比较的,今天就简单的做一个对比,我没有要挑起spark和flink之间的战争,社区间取长补短也好,互相抄袭也罢,我尽量站在一个公平的角度对待他们.下面会从多个方面对两者进行分析(当然有不全面),希望对大家有所帮助.篇幅较长,望大家耐心阅读. Spark简介 Spark的历史比较悠久,...
【Flink实战系列】Flink各种报错汇总及解决方案(实时更新中)
JasonLee实时计算
01-25 3万+
这篇文章主要用来记录一下Flink中的常见的报错以及解决方案(以后会持续更新) 1,Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages. 这个是因为动态表不是append-only模式的,需要用toRetractStream(回撤流)处理...
【Flink实战系列】Flink web UI 的使用介绍
JasonLee实时计算
04-01 3万+
最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下: flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/b...
flink 实时同步kafka数据到hdfs
05-26
Apache Flink 是一个流处理框架，支持实时数据处理和批处理。Flink 可以轻松地与 Apache Kafka 集成，实现从 Kafka 中读取数据并将其写入 HDFS。 下面是实现实时同步 Kafka 数据到 HDFS 的基本步骤： 1. 在 Flink 中引入 Kafka 和 HDFS 的依赖。 2. 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数。 3. 创建一个 Kafka 数据源，并从 Kafka 中读取数据。 4. 对读取的数据进行转换和处理。 5. 将处理后的数据写入 HDFS 中。 以下是一个基本的示例代码： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.core.fs.FileSystem.WriteMode; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer09; public class KafkaToHDFS { public static void main(String[] args) throws Exception { // 从命令行参数中读取参数 final ParameterTool params = ParameterTool.fromArgs(args); // 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(params.getInt("parallelism", 1)); // 设置 Kafka 数据源 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); FlinkKafkaConsumer09<String> consumer = new FlinkKafkaConsumer09<>( params.getRequired("topic"), new SimpleStringSchema(), props); // 从 Kafka 中读取数据 DataStream<String> stream = env.addSource(consumer); // 对读取的数据进行转换和处理 DataStream<String> transformed = stream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 进行转换和处理 return value.toUpperCase(); } }); // 将处理后的数据写入 HDFS 中 transformed.writeAsText(params.getRequired("output"), WriteMode.OVERWRITE); // 执行任务 env.execute("KafkaToHDFS"); } } ``` 在执行上述代码之前，需要先将 Flink 的依赖添加到项目中，并修改示例代码中的相关配置参数，如 Kafka 的连接地址、topic 名称和 HDFS 的输出路径等。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值