flink消费kafka数据直接到hdfs

最新推荐文章于 2023-05-22 14:44:49 发布
最新推荐文章于 2023-05-22 14:44:49 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/servletwjx/article/details/88788279
版权
本文详细介绍了如何使用Apache Flink从Kafka topic实时消费数据，并将这些数据无缝写入HDFS文件系统的过程。通过实例演示配置Flink连接器，实现数据流处理与存储的高效集成。
摘要由CSDN通过智能技术生成 
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.fs.SequenceFileWriter;
import org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink;
import org.apache.flink.streaming.connectors.fs.bucketing.DateTimeBucketer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010;
import org.apache.flink.util.Collector;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

import java.util.Properties;

public class ReadingToKafka {

    public static void main(String[] args) throws Ex
最低0.47元/天 解锁文章
小小聪
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩
JasonLee实时计算
10-04 1645
这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们自定义的通用反序列化类 PoJoDeserializationSchema 直接把 JSON 格式的数据转成 JasonLeePOJO 对象。提交任务这里就省略了，我们直接在 hive 创建个表，然后把 HDFS 上的数据加载进来，看看能否正常读取出来。
Flink读取kafka数据并写入HDFS
微信搜：import_bigdata，大数据领域硬核原创作者
03-31 6998
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。 目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中； 核心代码： public static void main(String[] args) throws Exception { // set up the streaming execution......
【采集项目-（5)将Kafka的数据采集到hdfs】
Tonystark_lz的博客
10-09 1299
【采集项目-（5)将Kafka的数据采集到hdfs】
Scala Flink1.7 消费kafka2.x模板 数据存入hdfs
hxw79321的博客
01-23 2185
demo1将数据从kafka之中读取出来，wordwount最后将写出的数据存入hdfs demo2 将数据存入Dgraph 图数据库 （全为Scala实现） kafka、flink等相关依赖与 maven打包依赖 <dependencies> <dependency> <groupId>o
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
flink-streaming消费kafka动态分区写入HDFS(SequenceFile)文件
huobumingbai1234的博客
01-09 1082
主要记录下streaming模式下动态分区怎么写文件，sql模式直接写就是了，streaming模式需要自己写下分区方法。大致的数据流程是消费kafka，拆解json，数据写到hdfs(sequenceFile)路径。 1、分区需要自定义，这里是读取流数据，获取分区字段 package partitionassigner; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.core.io.S...
并发消费kafka数据并写入hdfs。 基于flink统计实时ip热点统计.zip
最新发布
03-20
本示例中，我们探讨的主题是如何利用Apache Flink进行并发消费Kafka数据，并将处理结果写入Hadoop Distributed File System（HDFS）。Flink是一个强大的流处理框架，而Kafka是一个高效的分布式消息中间件，HDFS则是...
flink读取kafka写入Oracle,flink读取kafka数据并写入HDFS
weixin_42196667的博客
04-13 941
### 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；public static void main(String[] args) throws Exception {// set up the streaming execution environmentfinal StreamExecutionEnvironment env =StreamEx...
通过Flink-Sql将Kafka数据写入HDFS
IT_xhf的专栏
04-06 4821
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、创建Hive Catalog二、创建表1.创建Kafka表2.创建Hive表3. 执行同步语句总结参考资料 前言 近期，公司有需求将Kafka的数据写入到Hive表中，当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
JasonLee实时计算
10-05 1603
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。
flink消费kafka落地到hdfs
小屋
02-28 869
flink消费kafka落地到hdfs 发现是hdfs的地址没写全，在跳板机上即使不写全也能读写，但flink落hdfs的时候必须写全了。
Flink代码消费Kafka到Kafka/hdfs保证端到端一致性
weixin_45604164的博客
05-22 378
这样可以将 Kafka 数据写入到 HDFS 中，并且开启 Flink 的 Checkpointing 机制，以保证数据的一致性。这样可以保证在进行 Checkpoint 时，所有的 Sink 操作都会被执行一次，从而保证数据的一致性。
flink读取kafka数据
wx740851326的博客
11-01 4417
  写文章不容易，喜欢的请赞一赞。如有疑问，请加微信wx15151889890，谢谢。 flink相比于spark，还是比较好用的。话不多说上代码  //定义流处理环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment                 .getExecutionEnvironment(); ...
flink实现消费kafka并保存到HDFS
weixin_44729673的博客
03-14 272
flink实现消费kafka并保存到HDFS
Flink消费Kafka下沉数据到（HDFS、Redis、Kafka、LocalFile）
weixin_44741082的博客
04-13 346
【代码】Flink消费Kafka下沉数据到（HDFS、Redis、Kafka、LocalFile）
FlinkSql开窗实例：消费kafka写入文本
长臂人猿的博客
12-27 1664
以前写Flink从kafka入hdfs因为业务需求和老版本缘故都是自定义BucketSink入动态目录中，对于简单的需求可以直接用Flink SQL API进行输出。Flink版本1.13.1。
Flink数据，写入HDFS - 使用 StreamingFileSink
热门推荐
weixin_43947279的博客
11-24 1万+
一、应用场景： Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。 二、Streaming File Sink 由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd–HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。 1、Flink 提供了两个分桶策略，分桶策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.BucketAss
flink 实时同步kafka数据到hdfs
05-26
Apache Flink 是一个流处理框架，支持实时数据处理和批处理。Flink 可以轻松地与 Apache Kafka 集成，实现从 Kafka 中读取数据并将其写入 HDFS。 下面是实现实时同步 Kafka 数据到 HDFS 的基本步骤： 1. 在 Flink 中引入 Kafka 和 HDFS 的依赖。 2. 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数。 3. 创建一个 Kafka 数据源，并从 Kafka 中读取数据。 4. 对读取的数据进行转换和处理。 5. 将处理后的数据写入 HDFS 中。 以下是一个基本的示例代码： ```java import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.core.fs.FileSystem.WriteMode; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer09; public class KafkaToHDFS { public static void main(String[] args) throws Exception { // 从命令行参数中读取参数 final ParameterTool params = ParameterTool.fromArgs(args); // 创建一个 Flink StreamExecutionEnvironment 对象，并设置相关参数 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(params.getInt("parallelism", 1)); // 设置 Kafka 数据源 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); FlinkKafkaConsumer09<String> consumer = new FlinkKafkaConsumer09<>( params.getRequired("topic"), new SimpleStringSchema(), props); // 从 Kafka 中读取数据 DataStream<String> stream = env.addSource(consumer); // 对读取的数据进行转换和处理 DataStream<String> transformed = stream.map(new MapFunction<String, String>() { @Override public String map(String value) throws Exception { // 进行转换和处理 return value.toUpperCase(); } }); // 将处理后的数据写入 HDFS 中 transformed.writeAsText(params.getRequired("output"), WriteMode.OVERWRITE); // 执行任务 env.execute("KafkaToHDFS"); } } ``` 在执行上述代码之前，需要先将 Flink 的依赖添加到项目中，并修改示例代码中的相关配置参数，如 Kafka 的连接地址、topic 名称和 HDFS 的输出路径等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值