60-130-336-源码-source-kafka相关-Flink读取kafka

最新推荐文章于 2023-12-16 10:30:26 发布
最新推荐文章于 2023-12-16 10:30:26 发布
阅读量727 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105155621
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink中用于读写Kafka的Source和Sink Connectors。Flink Kafka Source Connector保证事件的顺序，通过offset管理进行故障恢复。Kafka Sink Connector提供不同级别的数据一致性保证，包括at-least-once和exactly-once。同时讨论了Kafka的事务写支持和用户自定义分区策略。
摘要由CSDN通过智能技术生成

1.美图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5fGiUa2M-1585357958781)(./00-flink/9--3d8098f4-2b42-4551-b7e0-98d018c8de83.png)]

2.概述

​ 在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。

3.Apache Kafka Source Connectors

​ Apache Kafka 是一个分布式的流平台，其核心是一个分布式的发布-订阅消息系统，被广泛用于消费与分发事件流。

​ Kafka将事件流组织成为topics。一个topic是一个事件日志（event-log），保证读入事件的顺序为事件写入的顺序。为了实现可扩展，topic可以被分为多个partition，并分布在集群中的各个节点中。但是在topic分区后，由于consumers可能会从多个partition读入

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
flink实战--flink整合kafka (kafka source 与 kafka sink)
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
Flink基础系列13-Source之从Kafka读取
热门推荐
只是甲的博客
10-20 1万+
文章目录一.环境介绍二.代码三.打包代码并执行参考: 一.环境介绍 环境介绍 本地测试环境搭建了CDH 6.3集群，集成了Kafka和Flink Maven配置 从官网找到的maven配置如下: <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.9.0
Flink 1.10: Cannot find compatible factory for specified execution.target (=local)
xiaozhaoshigedasb的博客
04-09 2279
         flink1.10的一个本地Demo测试过程中出现的一个问题，很简单的一段Word Count问代码： package flink.io import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ objec...
Cannot find compatible factory for specified execution.target (=local)
Scnu_wang的博客
04-20 1525
目录背景描述错误信息解决方案 背景描述 本地运行Flink入门的word count项目，但是运行是报错，提示如下信息。 错误信息 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: ...
Flink对接kafka 之kafka source和kafka sink
啥也不会的博客
06-12 5593
Flink本身没有提供了kafka sink接口，需要导入相关依赖才可以使用。 依赖： <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka-0.11 --> <dependency> <groupId>org.apache.flink</groupId> <arti
Flink kafka connectors 源码详解---＜2＞
adddimin的博客
01-07 371
方法，该方法凸出的功能，1.初始化记录当前split的offset，2.ck时，将split、offset 信息作为state保存，3.在KafkaRecordEmitter emit record时，动态更新 offset 信息，保证source 源头，消费的一致性。先了解 SplitFetcherManager，如果去源码的英文注解就可以很明显的知道，它就是要维持一个线程池，同时保存好所有的splitFetcher，splitFetcher，既有run方法，也可以提交任务。有意思的可以去看源码。
【Flink-cdc-Mysql-To-Kafka】使用 Flinksql 利用集成的 connector 实现 Mysql 数据写入 Kafka
最新发布
weixin_53543905的博客
12-16 2357
在 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini 下添加。Linux 或者 Windows 端需要安装：Mysql，Kafka，Flink 等。1、首先确认MySQL是否开启binlog机制，log_bin = ON 为开启 （如下图）Mysql 中写入测试数据，Kafka-Topic 中观察是否有数据生成。2、如果是本地环境的 Mysql 按照下面方式开启 binlog。3、重启 Mysql 服务。2、写入数据的语句准备就绪。
十二、Flink-Kafka-Connector
嘻哈吼嘿呵的博客
09-19 425
setStartFromGroupOffsets()【默认消费策略】 默认读取上次保存的offset信息 如果是应用第一次启动，读取不到上次的offset信息，则会根据这个参数auto.offset.reset的值来进行消费数据 setStartFromEarliest() 从最早的数据开始进行消费，忽略存储的offset信息 setStartFromLatest() 从最新的数据进行...
Flink读取Kafka
鸟人的博客
07-11 3218
在流式处理中，Flink经常会从Kafka读取流数据，这也是应用最为广泛的组合，Kafka源源不断的想Flink输送数据，Flink处理数据在输送给各种数据库，下面来看看Flink是如何读取Kafka的数据的吧在开始之前需要安装Kafka并启动一个生产者生产数据，具体可以参考这两篇文章Windows Kafka配置Linux Kafka配置 配置好后就可以编写代码了添加FlinkKafka依赖，其他依赖配置请看FLINK -1 代码 还是同样的流程：创建流式环境—》获取数据源—》处理数据—》写出数据 启动函
Flink Kafka数据源读取分析
conch_china的专栏
11-30 1185
Flink Kafka数据源读取分析
在IDEA中 基于内核的Flink任务提交
qq_41463207的博客
08-31 1379
如何能在不借助Flink命令行的方式去提交我们的flink任务呢？一起进来学习分享交流
60-127-040-源码-connector-Flink 1.9.0 with Hive
九师兄
07-04 675
1.美图 2.概述 ​ Apache Flink 从 1.9.0 版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。 2.1 元数据 ​ 原先Flink提供的 ExternalCatalog 定义非常不完整，基本不可用。提出了一套全新的 Catalog 接口来取代 ExternalCatalog 。新的 Catalog能够支持数据库、表、分...
60-124-340-源码-运行模式-Yarn-通过 YARN 的资源本地化技术减少 Flink 在 YARN 上的部署时间
九师兄
07-04 792
1.美图 2.概述 在使用 Flink 的生产实践中，我们发现采用 Flink on YARN 的部署方式时，将大量用户依赖的 JAR 包和其他文件上传到对应的容器中是从用户发送部署请求到应用实际运行起来的重要耗时操作。其中，不少文件例如 Flink 框架本身的依赖对于每个应用来说都是一样的，如果能采用一个统一的缓存将会显著减少所需上传的文件大小；此外，许多用户依赖的 JAR 包只在运行时需要，...
flink Cannot find compatible factory for specified execution.target (=local)
H.king的博客
05-14 394
初入 flink wordcount 报错如下 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=56188:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -clas...
Flink1.10入门：时间机制简介
陆继森的技术专栏
04-12 462
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 一、概述 上篇文章介绍了Window窗口机制的相关知识，这里我们介绍下Flink的另外一个核心概念“Event Time机制”，本篇文章只介绍相关概念不讲实战，实战会结合Window窗口机制一起讲解。 二、Flink中的三...
Flink 1.9 Table API问题 读取kafka
qq_31866793的博客
09-05 5154
Flink 1.9 API问题 Flink: Could not find a suitable table factory for 'org.apache.flink.table.factories.DeserializationSchemaFactory' in the classpath kafka数据格式： {"user_id": "346146", "item_id":"85...
Kafka-Eagle监控工具：安装与使用指南
"本文主要介绍了Kafka监控工具Kafka-Eagle的使用，包括其简介、部署和验证。Kafka-Eagle是一款开源免费的Kafka集群监控工具，能够监控offset、lag变化、partition分布和owner等关键信息。文章还提到了开启Kafka JMX...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值