【Kafka】kafka 客户端 控制台 flink 都无法消费的情况

已于 2024-05-09 18:27:29 修改
阅读量706 收藏
点赞数
分类专栏： 大数据-flink 大数据-kafka 文章标签： kafka flink 数据 不消费
于 2021-06-24 21:19:19 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/118191697
版权
大数据-flink 同时被 2 个专栏收录
838 篇文章 844 订阅 ¥99.90 ¥299.90
订阅专栏
大数据-kafka
401 篇文章 635 订阅 ¥99.90 ¥299.90
订阅专栏

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。

文章目录


在这里插入图片描述

1.概述

首先参考文章：

Kafka : kafka无法消费的情况

【Kafka】Kafka 奇怪问题之无法用Java 客户端消费

我一个flink程序发布到页面后，发现不消费数据。

在这里插入图片描述
但是我确信数据是有的lag也是存在的，而且使用earliest也不能消费。然后把包换到其他环境是能消费的。

在这里插入图片描述
然后我本地控制台尝试消费，第一次能消费，然后再次试试就不能消费了

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
kafka-web-console:适用于Apache Kafka的Web控制台（已淘汰）
05-08
退休的 不再支持该项目。 请改用 。 Kafka Web控制台 Kafka Web Console是用于监视的Java Web应用程序。 使用现代的Web浏览器，您可以从控制台进行查看： 注册经纪人 主题，分区，日志大小和分区领导 消费者群体，个人消费者，消费者所有者，分区抵消和滞后 显示消费者偏移量和滞后历史以及消费者/生产者消息吞吐量历史的图表。 最新发布的主题消息（要求Web浏览器支持WebSocket） 此外，控制台还提供了描述的JSON API。 可以使用可通过URL http：// [主机名] ： [端口] / api / console访问的嵌入式API控制台对API进行测试。 要求 播放Framework 2.2.x Apache Kafka 0.8.x Zookeeper 3.3.3或3.3.4 部署方式 有关请查阅Play！的文档。 入门 Kafka W
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
厉害哥哥的博客
09-10 2064
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式，一种依赖zookeeper，一种使用Kraft模式，本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。
在IDEA上使用Flink 无法消费Kafka 【一段时间后报错：TimeoutException: Timed out waiting for a node assignment. Call: d】
2202_75658539的博客
05-12 687
记录自己在学习Flink中遇到一个问题，在IDEA上写Flink消费者，想要消费Kafka，可是在Kafka生产者模式下生产数据却无法正常被消费 确认了消费Kafka的服务器参数(setBootstrapServers)，和消费主题(setTopics)无误后 确认了zookeeper和kafka已经开启
1、Kafka急速入门
Xx13624558575的博客
09-08 1453
Kafka急速入门
Kafka控制台常用命令及工作流程简单介绍
weixin_43845743的博客
04-18 1530
前言 在使用kafak之前，先启动每个node 的zookeeper服务： zkServer.sh start 一、kafka常用命令 1、启动服务 kafka-server-start.sh -daemon /soft/kafka/config/server.properties 2、查看主题 kafka-topics.sh --list --zookeeper s102:2181 3、查看某...
Kafka——管理Kafka(命令行工具)详解
LoveSummer
01-23 2161
有时候，我们需要知道提交的消费者群组偏移量是多少，比如某个特定的群组是否在提交 偏移量，或者偏移量提交的频度。也就是说，如果集群里有 5 个 broker，生产者的配额是 10MB/s，那么它可以以 10MB/s 的速率在单个 broker 上生成 数据，总共的速率可以达到 50MB/s。根 据分区大小的不同，复制过程可能需要花一些时间，因为数据是通过网络复制到新副本上 的。也就是说，在没有认证的情况下也可以使用这些命令行工具，在没 有安全检查和审计的情况下也可以执行诸如主题变更之类的操作。
Flink消费Kafka数据1
08-03
Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
flink连接kafka
01-20
在IDEA中，你可以观察控制台输出，查看Flink作业的运行情况以及从Kafka接收数据的状态。作者yueWang_blog提供的信息表明，他们已经成功实现了Flink与Kafka的连接，并能在控制台看到数据流动的迹象。
leetcode下载-avengers:Kafka、Flink、ElasticSearch等示例
06-29
leetcode下载 作者寄语： 本站所有的资料，都可进行下载使用，希望学习到...3.flink-kafka-example:flink读取socket数据下沉到kafka 4.flink-kafka-example:flink读取kafka数据进行打印 5.flink-sink-es-example:flink
flinkDemo完整代码scala版 - flinkDemo.zip
11-18
它提供了TableAPI、Flink SQL以及DataStream API的实例，同时也涵盖了从socket、Kafka和MySQL数据源进行数据处理的场景。 【描述】"flinkDemo.zip"是一个压缩包，其中包含了实现上述功能的所有源代码。这个项目不仅...
flink样例完整代码
05-31
标题中的“flink样例完整代码”指的是Apache Flink的示例代码集合，这是一个流行的开源流处理和批处理框架。Flink以其低延迟、高吞吐量和状态管理能力而闻名，广泛应用于实时数据处理场景。 Apache Flink的核心概念...
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 825
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
zhengzaifeidelushang的博客
08-01 1399
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
kafka消费数据，有时消费不到原因？
beipiao_yizu的博客
03-20 2451
7：消费者客户端启动后未消费消息：如果发现一个消费者客户端已经启动了，但是就是不消费消息，应该检查该消费者所在的组中是否还有其他的消费者。综上所述，解决Kafka消费数据不到的问题，需要从多个方面进行排查和优化，包括但不限于检查配置、调整生产与消费的速度匹配、提高消费者的处理能力、确保网络稳定以及及时处理下游数据等。4：消费者处理能力不足：如果消费者的处理能力不足，例如处理逻辑复杂、计算密集，或者消费者数量较少，无法充分利用集群的并发处理能力，也会导致消费速度慢。
Flink的checkpoint配置详解
worldchinalee的博客
07-31 6602
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactly-once (this is the default) env.getCheckpointConfig()
kafka控制台基本操作命令
破晓的成长之路
09-16 3931
#创建topic /usr/SFT/kafka-0.11/bin/kafka-topics.sh --zookeeper chdp11:2181 --create --replication-factor 3 --partitions 1 --topic mytp #列出已经创建的topic，实际上就是去zk集群查询数据 /usr/SFT/kafka-0.11/bin/kafka-topics....
Flink AsyncFunction导致的Kafka数据不消费
微信搜：import_bigdata，大数据领域硬核原创作者
01-03 1414
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！问题描述flinksql从kafka读取数据，异步函数加载Mysql数据进行维表关联，最后将数...
中间件(7) : docker安装kafka及控制台
Lxinccode的博客
04-13 1180
参考 : docker安装kafka_方方园园的博客-CSDN博客_docker kafka win7 kafka 启动报错 Socket server failed to bind to 192.168.0.182:9092: Cannot assign requested address:_myfortune的博客-CSDN博客 Docker搭建Kafdrop（言简意赅）_jnkdog.的博客-CSDN博客_docker 安装kafdrop 分享一款非常好用的...
kafka架构+原理+源码
最新发布
JavaCoder_juejue的博客
07-21 1410
1.kafka架构图 2.kafka producer
flink1.14 消费kafka
03-27
在 Flink 1.14 中，要消费 Kafka 中的数据，需要使用 Flink 的 Kafka Connector。以下是一个简单的 Flink 1.14 消费 Kafka 数据的示例： ```java import org.apache.flink.streaming.api.datastream.DataStream; ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值