Flink如何使用DataStreamAPI消费Kafka

最新推荐文章于 2024-05-23 10:57:27 发布
最新推荐文章于 2024-05-23 10:57:27 发布
阅读量636 收藏 1
点赞数
文章标签： kafka flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41537882/article/details/127464198
版权
网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/kafka/1、flink的kafkaSource默认是把消费的offsets提交到当前Task的状态中，并不会主动提交到kafka的——consumer_offsets中。所以，上述代码无论运行多少次消费的都是一样的内容，想要达到这次消费起始位置是上次消费的最后一条的情况。
摘要由CSDN通过智能技术生成

1、到官网查询所在版本的依赖，导入pom.xml(在此用Flink1.13) 官网->教程->connectors->datastream->kafka

网址：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/kafka/

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>1.13.6</version>
最低0.47元/天 解锁文章
阿远的小一
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
流批一体计算引擎-4-[Flink]基于Table API消费kafka实时数据
qq_20466211的博客
01-23 2848
flink消费kafka
flink消费kafka到greenplum
05-06
本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。 首先，Apache Flink是一个开源的流...
轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
sucaiwa的博客
03-28 4542
这一课时介绍了 Flink 消费 Kafka 的方式，比如从常用的指定单个或者多个 Topic、消息的序列化、分区的动态发现等，还从源码上介绍了 Flink 消费 Kafka 的原理。通过本课时的学习，相信你可以对 Flink 消费 Kafka 有一个较为全面地了解，根据业务场景可以正确选择消费的方式和配置。
Flink入门，flink接入kafka数据源，消费数据并处理数据
最新发布
荒野拖拉机
05-23 924
构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listeners注释去掉，并修改值为你虚拟机的ip，如下图。最后运行新的消费者，消费处理后的数据，只需修改topic。然后运行代码，在生产者生产一条数据进行查看。启动生产者服务，bin目录下。安装过程可自行搜索。
kafka为什么尽量使用手动提交
weixin_59244784的博客
06-20 3757
kafka为什么尽量使用手动提交
五分钟，Docker安装flink，并使用flinksql消费kafka数据
Liu_Arvin的芝士小栈
11-23 1269
根据自己的flink版本，下载对应的 flink-sql-connector-kafka jar包。命令，用户宿主机和docker容器文件传输。确保有一个可用的kafka，如果没有，可以五分钟内，Docker搭建一个。将下载的jar包，分别在jobmanager，taskmanager。顾名思义，用于连接flinksql和kafka。并且通过python，简单写一个生产者。可以看出，我的版本是1.18.0。进入jobmanager中，执行。进入 flink的bin目录。
Flink（16）：Flink之Connect Kafka API
yang_shibiao的博客
07-11 1294
目录 ​​​​​​0. 相关文章链接 1. pom依赖 2. 参数设置 3. 参数说明 3.1. 序列化和反序列化器 3.2. 消费者起始位置 3.3. 动态分区检测 3.4. Connect Kafka中的Checkpoint 4. Kafka中的部分命令 5. 代码实现 KafkaConsumer 6. 代码实现 KafkaProducer 7. KafkaUtil示例 ​​​​​​0. 相关文章链接 1. pom依赖 Flink 里已经提供了一些绑定的 C...
Flink消费Kafka数据1
08-03
本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用三台虚拟机，分别作为 master 节点、slave01 节点和 slave02 节点。操作系统...
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar； 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0
12-04
标题中的“pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0”表明这是一个关于使用Python（pylink）连接Apache Flink与Kafka资源的Java Archive (JAR) 文件。描述简单地提到了“flink-connector-kafka_...
6.2、Flink数据写入到Kafka
向热爱自己一样，热爱这个世界。
09-13 2224
Flink数据写入到Kafka
【Flink1.14实战】Docker环境 DataStream kafka Source
一片冰心
04-18 654
DataStream 连接器 要在应用程序中使用这些连接器之一，通常需要额外的第三方组件，例如用于数据存储或消息队列的服务器。另请注意，虽然本节中列出的流连接器是 Flink 项目的一部分并且包含在源代码版本中，但它们不包含在二进制发行版中。 kafka 连接器 该文档描述的是基于新数据源 API的 Kafka Source。 依赖 Apache Flink 集成了通用的 Kafka 连接器，它会尽力与 Kafka client 的最新版本保持同步。该连接器使用的 Kafka client 版本可能会在 F
Flink1.13中tableAPI对接数据源的source&sink
weixin_42430074的博客
12-06 974
在学习的过程中遇到了file和kafka数据源读写（sink和source）的问题，我使用的flink是1.13.3的版本，发现connect方法已经过时了，于是就去官网查看了一下推荐的方式，下面我会用代码来实现一下： 参考官方文档：CSVhttps://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/table/formats/csv/Kafkahttps://nightlies.apache.org/flink
Kafka 0.9 新版本consumer客户端使用介绍
热门推荐
haoyifen的专栏
01-08 1万+
kafka最初的客户端使用scala写的, 但是有很多限制. 在0.8.1版本中, 用Java重写了producer客户端, 0.9版本中用java重写了consumer客户端, 新的客户端提供了更加易用, 清晰一致的api. 本文翻译了kafka官方的新consumer使用介绍. 主要介绍了新版本的客户端与旧客户端的区别, 新版本的使用, 详细介绍了一些重要配置, 消费语义等方面.
Flink之Table API& SQL(案例)
qq_44665283的博客
03-30 2412
Flink之Table API& SQL 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。 官网地址:https://nightlies.apache.org/flink/flink-docs-release-1.12/dev/table/common.htm
Kafka 0.9 新消费者API
weixin_34258078的博客
04-29 145
kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个过程的第一阶段就是在0.8.1版本的时候重写了生产者API。在最近的0.9版本中完成了第二阶段，提...
FlinkKafkaConsumer并行度设置
u014407873的博客
08-19 2993
这个代码里的addSource、map里面的自定义函数会被分配进同一个JobVertex，这里的JobVertex跟Spark里面的Stage几乎是等价的概念，同一个JobVertex的算子会放进同一个task线程里执行，上一个算子的数据会直接通过方法调用传递给下一个算子。所以当source算子并行度大于topic分区数时，有的task线程就会分配不到相应的分区，就会出现空转的情况，浪费资源，而且这里影响到的不仅仅是source单个算子，还包括被包含在同一个JobVertex的其他算子。
Flink SQL/Table API 消费Kafka数据并存入MySQL（通过JDBCAppendTableSink方式来实现存入到MySQL）
学习学习
06-13 5401
这种方式实现存到MySQL，需要注意一些问题 import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.common.typeinfo.TypeInformation;...
写一个 flink的程序 消费kafka
04-22
在这个示例中，我们使用 Flink 提供的 KafkaConsumer 类来创建一个消费者，并配置相关参数。随后，我们使用 addSource 方法将 Kafka 流绑定到 Flink 环境，并通过 map 算子将所有收到的字符串转换为大写。最后，我们...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值