第 26 节 Flink Kafka-Connector详解

最新推荐文章于 2024-08-15 11:27:04 发布
最新推荐文章于 2024-08-15 11:27:04 发布
阅读量477 收藏
点赞数 1
分类专栏： Flink入门实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/104770936
版权

上篇：第 25 节 Flink 并行度详解(Parallel)

1、Kafka-connector

  1. Kafka中的partition机制和Flink的并行度机制深度结合
  2. Kafka可以作为Flink的source和sink
  3. 任务失败，通过设置kafka的offset来恢复应用
Kafka Consumer消费策略设置

在这里插入图片描述

2、Kafka Consumer的容错

  1. 当checkpoint机制开启的时候，Kafka Consumer会定期把kafka的offset信息还有其他operator的状态信息一块保存起来。当job失败重启的时候，Flink会从最近一次的checkpoint中进行恢复数据，重新消费kafka中的数据。
  2. 为了能够使用支持容错的kafka Consumer，需要开启checkpoint
    env.enableCheckpointing(5000); // 每5s checkpoint一次
动态加载Topic

在这里插入图片描述

3、Kafka Consumers Offset 自动提交

在这里插入图片描述

Kafka Producer

在这里插入图片描述

4、Kafka Producer的容错-Kafka 0.9 and 0.10

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、Flink 生产环境主要配置

生产环境检查清单

在这里插入图片描述

江湖侠客
关注
专栏目录
Flink与Kafka集成：跨版本兼容性与性能优化实战
击水三千里的专栏
01-05 1661
详解如何在Flink与不同版本的Kafka集成中解决兼容性问题，通过自定义SourceFunction和SinkFunction实现高效数据流处理。
flink-connector-kafka_2.12-1.11.0.jar
07-14
flink是新一代的流式计算引擎，它需要从不同的第三方存储引擎读取数据，进行一定的处理，写出到不同的存储引擎，Connector就相当于是一个连接器，连接flink系统和外界存储系统。
Flink之Kafka Connector
别这么骄傲
04-18 1484
在Kafka Connector连接器中提供Source数据源和Sink接收器类，在。
Kafka系列之：Kafka Connect深入探讨 - 错误处理和死信队列
最新发布
zhengzaifeidelushang的博客
08-15 1155
Kafka Connect是Apache Kafka®的一部分，是一个构建Kafka和其他技术之间流水线的强大框架。它可以用于从多个位置（包括数据库、消息队列和平面文件）将数据流式传输到Kafka，也可以将数据从Kafka流式传输到目标，如文档存储、NoSQL数据库、对象存储等。在完美的世界中，不会出现任何问题，但当出现问题时，我们希望我们的流水线能够尽可能地优雅地处理。一个常见的例子是在特定序列化（期望为Avro时却收到JSON，反之亦然）的主题上收到消息。
Flink-Kafka-Connector Flink结合Kafka实战
weixin_33774615的博客
03-03 885
简介 Flink-kafka-connector用来做什么？ Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复 Kafka可以作为Flink的source和sink 任务失败，通过设置kafka的offset来恢复应用 kafka简单介绍 关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念。 1.生产者（Producer） 顾名思义，生产者就是生产消...
Flink Kafka[输入/输出] Connector
程序猿进阶
12-28 3512
本章重点介绍生产环境中最常用到的。使用Flink的同学，一定会很熟悉kafka，它是一个分布式的、分区的、多副本的、 支持高吞吐的、发布订阅消息系统。生产环境环境中也经常会跟kafka进行一些数据的交换，比如利用读取数据，然后进行一系列的处理之后，再将结果写出到kafka中。这里会主要分两个部分进行介绍，一是，一个是。
Kafka——Kafka Connect详解
吴声子夜歌的博客
08-17 6164
Kafka Connect是一个高伸缩性、高可靠性的数据集成工具，用于在Apache Kafka与其他系统间进行数据搬运以及执行ETL操作，比如Kafka Connect能够将文件系统中某些文件的内容全部灌入Kafka topic中或者是把Kafka topic中的消息导出到外部的数据库系统，如图所示。如图所示，Kafka Connect主要由source connector和sink connector组成。
Flink kafka connectors 源码详解---＜2＞
adddimin的博客
01-07 371
方法，该方法凸出的功能，1.初始化记录当前split的offset，2.ck时，将split、offset 信息作为state保存，3.在KafkaRecordEmitter emit record时，动态更新 offset 信息，保证source 源头，消费的一致性。先了解 SplitFetcherManager，如果去源码的英文注解就可以很明显的知道，它就是要维持一个线程池，同时保存好所有的splitFetcher，splitFetcher，既有run方法，也可以提交任务。有意思的可以去看源码。
Flink kafka connectors 源码详解---＜1＞
adddimin的博客
01-04 596
Flink 中kafka 作为Source源头，首先会开始一个SourceCoordinator来与Kafka联系获取所有topic分区，同时兼顾新增tp（topic parition）的检测，在根据并行度，根据一个规则（等下用源码展示这个规则）来切分tp，然后，Flink 在并行度work中会开启SourceOperator，并向SourceCoordinator发送注册请求，要求获取split tp，用来后续的消费kafka数据。然后，根据并行度，将topic的分区匀出去。
知根知底：Flink-KafkaConsumer 详解
张普的专栏
04-28 4838
Flink-Kafka Connector 是连接kafka 的连接器，负责对接kafka 的读写， 本篇主要介绍kafka consumer 的执行流程与核心设计。逻辑执行流程分配当前task消费的partition与起始的offset : 根据从状态中恢复的数据与客户端指定的消费模式， 采取的方式是状态中offset优先， 即从状态中能够找到对应的offset 就使...
alibaba-flink-connectors-flink-1.5.2-compatible.zip
12-10
例如，如果使用Kafka Connector，我们需要在Flink作业中创建一个`FlinkKafkaConsumer`或`FlinkKafkaProducer`，指定Kafka的主题、 brokers地址以及其他的配置参数。 值得注意的是，虽然这里说的是Flink 1.5.2版本的...
flink-connector-kafka-base_2.11-1.10.0.jar
06-20
修改后的flink-kafka源码，想了解如何修改的请看最新博客
Flink Kafka connector详解
不清不慎的博客
07-20 4687
在Flink中提供了特殊的Connectors从kafka中读写数据，它基于Kafka Consumer API以及Producer API封装了自己的一套API来连接kafka，即可读取kafka中的数据流，也可以对接数据流到kafka中，基于kafka的partition机制，实现了并行化数据切片。下面让我们来看看它的主要API以及使用。 Flink kafka consumer 使用kafk...
flink kafka connector
shenjianyu_rex的博客
09-07 604
1.kafka connector版本选取 Flink有多个Kafka connector：universal，0.10和0.11。 Flink 1.7 开始就有这个universal的Kafka connector通用版本，跟Kafka client端的尽量保持最新版本。这个版本的Kafka客户端向后兼容代理版本0.10.0或更高版本。对于大多数用户而言，universal的Kafka连接器是最合适的。对于Kafka版本0.11.x和0.10.x，我们建议分别使用专用的0.11和0.10连接器。
Kafka Connect详解及应用实践
BXA
07-17 4521
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行连接。可靠性：Kafka Connect通过使用Kafka本身提供的数据复制机制，保证了数据的可靠性。
Flink SQL kafka连接器
大头皮鞋的博客
07-07 1789
Flink SQL kafka连接器
Flink Kafka Connector 与 Exactly Once 剖析
u011250186的博客
06-06 167
Flink Kafka Connector 与 Exactly Once 剖析
浅析Flink的Kafka Connector
weixin_43029346的博客
01-10 764
浅析Flink的Kafka Connector
【Flink】Flink 1.14.0 全新的 Kafka Connector
九师兄
06-19 4305
Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保证恰好一次次语义。
flink-connector-kafka-0.11_2.11
07-28
Flink的Kafka连接器是一个用于将Apache Kafka与Apache Flink集成的库。flink-connector-kafka-0.11_2.11是适用于Flink 1.10版本和Kafka 0.11.x版本的连接器。它提供了用于从Kafka主题读取数据并将其发送到Flink作业中进行处理的功能，同时也支持将处理结果写回到Kafka主题中。这个连接器可以通过在Flink作业中引入相应的依赖来使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值