Flink的sink实战之二：kafka

最新推荐文章于 2024-08-13 16:26:30 发布
最新推荐文章于 2024-08-13 16:26:30 发布
阅读量1k 收藏 17
点赞数 20
分类专栏： 程序员 文章标签： flink kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84412961/article/details/137896503
版权
本文详细介绍了使用ApacheFlink进行Kafka消息发送的步骤，包括创建KafkaSerializationSchema、配置FlinkKafkaProducer以及发送字符串和对象类型的消息。还涵盖了从准备环境到编码实践的开发流程。
摘要由CSDN通过智能技术生成

| git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址，ssh协议 |

这个git项目中有多个文件夹，本章的应用在flinksinkdemo文件夹下，如下图红框所示：

在这里插入图片描述

准备完毕，开始开发；

准备工作

正式编码前，先去官网查看相关资料了解基本情况：

  1. 地址：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html

  2. 我这里用的kafka是2.4.0版本，在官方文档查找对应的库和类，如下图红框所示：

在这里插入图片描述

kafka准备

  1. 创建名为test006的topic，有四个分区，参考命令：

./kafka-topics.sh \

–create \

–bootstrap-server 127.0.0.1:9092 \

–replication-factor 1 \

–partitions 4 \

–topic test006

  1. 在控制台消费test006的消息，参考命令：

./kafka-console-consumer.sh \

–bootstrap-server 127.0.0.1:9092 \

–topic test006

  1. 此时如果该topic有消息进来，就会在控制台输出；

  2. 接下来开始编码；

创建工程

  1. 用maven命令创建flink工程：

mvn \

archetype:generate \

-DarchetypeGroupId=org.apache.flink \

-DarchetypeArtifactId=flink-quickstart-java \

-DarchetypeVersion=1.9.2

  1. 根据提示，groupid输入com.bolingcavalry，artifactid输入flinksinkdemo，即可创建一个maven工程；

  2. 在pom.xml中增加kafka依赖库：

org.apache.flink

flink-connector-kafka_2.11

1.9.0

  1. 工程创建完成，开始编写flink任务的代码；

最低0.47元/天 解锁文章
2401_84412961
关注
专栏目录
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink
2401_84170623的博客
04-28 1043
用于序列化消息键的序列化器类。通常是指实现了Serializer接口的类的全限定名用于序列化消息值的序列化器类客户端与服务器保持空闲连接的最长时间（毫秒）。默认值为 540000（即 9 分钟）。"900000"表示客户端与服务器保持空闲连接的最长时间为 15 分钟用于指定消息将被发送到哪个分区的算法，即分区器的实现类。Kafka 中的主题（topic）通常被划分为多个分区，每个分区都包含有序的消息序列。分区器决定了生产者发送的消息应该被分配到哪个分区中。通过配置。
Flink KafkaSink
weixin_45607513的博客
03-06 2128
Kafka集成 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.10.0</version> </dependency> ...
Flink Sink定制开发
最新发布
qq_33483616的博客
08-13 694
在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造。flink自带的hdfs sink只支持将接收到的消息整体使用UTF-8格式写入到文件，而我们的kafka2hdfs处理逻辑要求只写body字段内容到文件。（1）由源码可知BucketingSink类的setBucketer(Bucketer bucketer)方法确定要写入的文件目录。
Flink kafkaSink
文报的博客
06-21 5983
因为是用sql写的，写KafkaSink的时候，是准备用KafkaTableSink有两个问题，第一个KafkaTableSink只能接受appendstream但是table流是包含了删除的(流回撤)，所以使用不了。使用的还是必须经过Filter将Table流中的false流剔除。第二个问题，进入KafkaTableSink的源码: public KafkaTableSink( ...
Flink--sink到kafka
05-22 638
package com.flink.DataStream import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{DataStream, Stre...
Flink之Kafka Sink
AnameJL的博客
07-25 1714
Kafka Sink
Flink基础系列21-Sink之Kafka
只是甲的博客
10-27 6602
文章目录一.Sink概述二.Sink之Kafka2.1 将文本文件数据写入Kafka2.2 Java代码准备2.3 开启生产者2.4 查看Kafka输出参考: 备注： Flink 1.9.0 一.Sink概述 Flink没有类似于spark中foreach方法，让用户进行迭代的操作。虽有对外的输出操作都要利用Sink完成。最后通过类似如下方式完成整个任务最终输出操作。 官方提供了一部分的框架的sink。除此以外，需要用户自定义实现sink。 二.Sink之Kafka 2.1 将文本文件数据写入Kafka
Flink—kafkaSink
popping_w的博客
08-27 2492
Flink—kafkaSink 1.开发流程 特别说明： Flink内置了一些Sink, 除此之外的Sink需要用户自定义! 2.环境介绍 hadoop+zookeeper+kafka 添加Kafka Connector依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId>
Flink Sink之Kafka
chaohui2638457321的博客
01-22 835
Flink之流处理API之Sink Flink没有类似于spark中foreach方法，让用户进行迭代的操作。虽有对外的输出操作都要利用Sink完成。最后通过类似如下方式完成整个任务最终输出操作。 stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的sink。除此以外，需要用户自定义实现sink。 5.7.1 Kafka pom依赖 <dependency> <groupId>org.apache.flink</gro.
Flink-Sink(Kafka、Redis、ES、JDBC)
qq_38304392的博客
07-01 896
Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的输出操作都要利用 Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。 stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink。 5.0 File package com.zhen.flink.ap...
Flink笔记-sink写入kafka
ooeeerrtt的博客
05-06 1076
public class KafkaSinkStream { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(3); DataStreamSource<String&.
Flink发送数据到Kafka sink
程序园@大Null
05-21 2298
前期准备好kafka环境，我这里是1.12.0版本的Flink，Kafka对应版本官方推荐2.4.1，Scala版本2.12，demo里用的是socket文本流做数据源 在kafka目录下启动zookeeper（我这里用的是kafka自带的） ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 启动kafka ./bin/kafka-server-start.sh -daemon config/server.pro
Flink的Sink（kafka，mysql , redis）
FBB360JAVA的博客
12-09 1423
Flink的内嵌Sink writeAsText ：保存为文本 writeAsCsv ：保存为csv格式文本 print 和printToErr：打印输出（标准输出和错误输出） writeUsingOutputFormat：自定义格式输出（text和csv都是调用了它） writeToSocket：输出到某一端口 自定义连接 1. 所需要的pom依赖 <properties> ...
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 &amp； 高效协同_flink 创建kafka sink(1)
2401_84185471的博客
05-03 703
是 Apache Flink 中用于将数据流转换为 Kafka 记录（record）的序列化模式（Serialization Schema）。它允许将 Flink 数据流中的元素转换为 Kafka 生产者记录，并定义了如何序列化元素的逻辑。在 Flink 中，当你想要将数据发送到 Kafka 主题，需要一个序列化模式来将 Flink 数据流中的元素序列化为 Kafka 记录。而就是为此目的而设计的。// 序列化模式//设置对哪个主题进行序列化//设置数据值序列化方式//设置数据key序列化方式。
使用Flink对接Kafka数据，进行word count，将统计结果sink到Kafka（单节点）
qq_45834615的博客
09-05 895
Java编写flink读取Kafka数据，进行词频统计，最终sink到Kafka
Flink写入Kafka
weixin_45264992的博客
10-12 1875
Flink写入Kafka import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.strea
kafka maven 依赖_Flink的sink实战之二：kafka
weixin_39692623的博客
11-22 484
本文是《Flink的sink实战》系列的第二篇，《Flink的sink实战之一：初探》对sink有了基本的了解，本章来体验将数据sink到kafka的操作；版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.15.3 (MacBook Pro 13-inch, 2018)IDEA：2018.3....
flink sink kafka
03-31
Flink Sink Kafka is a connector provided by Apache Flink that allows Flink to write data to Apache Kafka. Apache Kafka is a distributed streaming platform that is used for building real-time data ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值