kafka消费者kafka-console-consumer接收不到数据

最新推荐文章于 2024-03-20 10:50:14 发布
最新推荐文章于 2024-03-20 10:50:14 发布
阅读量2.7w 收藏 21
点赞数 5
分类专栏： kafka kafka-console-consumer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/k393393/article/details/93099276
版权

发送端
在这里插入图片描述
接收端
在这里插入图片描述

问题
采用内置的zookeeper，发送端发送数据，接收端能够接收数据
但是采用外置的zookeeper，发送端发送数据，接收端一直接收不到数据
解决：
先判断主题是否一致，如果一致就在关闭kafka
./kafka-server-stop.sh ../config/server.properties
修改一下配置，确保这些配置已加上，不要用localhost，在listeners的ip地址和端口号要和消费者，生产者的的地址端口号一直
vim ../config/server.propertiesst3
在这里插入图片描述
在这里插入图片描述
最后把log.dirs后面的文件删除或者重新换个地址
rm -rf /tmp/kafka
在这里插入图片描述
重新在前台启动kafka，注意查看打印在桌面的日志，有无报错信息
./kafka-server-start.sh ../config/server.properties
如果没有报错信息，启动正常，那么就可以在后台启动了
./kafka-server-start.sh -daemon ../config/server.properties
创建生产者
./kafka-console-producer.sh --broker-list 172.16.193.175:9092 --topic test3
创建消费者
./kafka-console-consumer.sh --bootstrap-server 172.16.193.175:9092 --topic test3 --from-beginning

k55
关注
  • 5
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 配置用户名密码例子
09-10
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 ，我拿第三种进行了 配置 。你可以直接下载 运行并测试
对于kafka java 生产者客户端发送数据，linux消费者客户端无法接收数据
阿伟的博客
10-09 587
首先，在linux端运行下列两个命令是可以正常发送和获取数据 # 消费者 kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic test # 生产者 kafka-console-producer.sh broker-list hadoop101:9092 --topic test 但是java通过kafka-client的API写的代码始终不能跟kafka通信：java producer的消息发不出去， java com..
Kafka 在代码中producer发送消息consumer接收不到
WZY_snail的博客
04-06 4098
在学习kafka的时候，虚拟机里搭建了kafka集群，Linux里边通过kafka-console-producer.sh 和kafka-console-consumer.sh 发送消息接收消息都没问题。但是写生产者代码的时候发送消息，没报错，查看消费者就是接收不到消息。这是什么鬼？？？ 到网上查了各种原因： 1、config/server.properties 该配置文件里边将 adv...
kafka消费数据，有时消费不到原因？
beipiao_yizu的博客
03-20 579
7：消费者客户端启动后未消费消息：如果发现一个消费者客户端已经启动了，但是就是不消费消息，应该检查该消费者所在的组中是否还有其他的消费者。综上所述，解决Kafka消费数据不到的问题，需要从多个方面进行排查和优化，包括但不限于检查配置、调整生产与消费的速度匹配、提高消费者的处理能力、确保网络稳定以及及时处理下游数据等。4：消费者处理能力不足：如果消费者的处理能力不足，例如处理逻辑复杂、计算密集，或者消费者数量较少，无法充分利用集群的并发处理能力，也会导致消费速度慢。
Kafka 消息不能接收的问题
随风的博客
03-24 2万+
Kafka发送消息后, consumer不能接收
kafka学习（三）--生产消息和消费消息
你不是叶秋的博客
08-22 1152
上一讲说 --describe 可以省略 --topic ，没有报错，这里看看两者区别 因此，要查看特定的 topic 信息，建议加上 --topic
Kafka常用命令之kafka-console-consumer.sh
热门推荐
Ernest
04-06 12万+
  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。
Kafka消费不到数据
wildding的博客
05-16 3082
方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。
kafka消费不到数据问题
qq_42315376的博客
02-27 7567
kafka消费者不能正常消费的原因与解决方法
kafka详解
qq_45927587的博客
12-21 5987
Kafka:分布式消息中间件 Kafka 来做消息通信。 分布式消息系统 开发人员必备的技能
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 1850
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
kafka-console-consumer:Kafka控制台使用者-从时间戳读取事件
03-30
Kafka游戏机消费者 控制台应用程序，用于从给定的时间戳读取事件。 要求 Java> = 8 建造 ./mvn install 用法示例 配置 您需要在与工具配置相同目录中的application.properties文件中进行特定设置，才能与kafka连接。 SASL_PLAINTEXT的示例配置： spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.properties.security.protocol=SASL_PLAINTEXT spring.kafka.properties.sasl.mechanism=PLAIN spring.kafka.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule
指定时间段消费Kafka工具
12-10
使用环境:Jdk 1.8 使用场景：生产环境海量数据，用kafka-console-consumer 消费kafka某时间段消息用于分析问题，生产环境海量数据，用kafka-console-consumer.sh只能消费全量，文件巨大，无法grep。 代码来源于博主：BillowX_ ，感谢分享 原贴地址：https://blog.csdn.net/weixin_35852328/article/details/105511784 使用方法见压缩包内；或者直接执行，参数不全时会打印使用方法。
kafka_2.9.2-0.8.2.1.tgz
12-22
kafka_2.9.2-0.8.2.1.tgz 安装 liunx环境 安装jdk vi /etc/profile在末尾追加 JAVA_HOME JRE_HOME PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib source /etc/profile使环境变量立刻生效 安装kafka 解压 tar -xzvf kafka_2.8.0-0.8.1.tgz ;rm kafka_2.8.0-0.8.1.tgz; cd kafka_2.8.0-0.8.1 修改配置 Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件 KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true" 去除-XX:+UseCompressedOops参数 启动 bin/zookeeper-server-start.sh config/zookeeper.properties & bin/kafka-server-start.sh config/server.properties & 停止 bin/kafka-server-start.sh config/server.properties & bin/zookeeper-server-start.sh config/zookeeper.properties & create a topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建单partitions单replication的topic bin/kafka-topics.sh --list --zookeeper localhost:2181 查看topic 查看topic的分区 bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test 启动生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 启动消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning produce启动的时候参数使用的是kafka的端口而consumer启动的时候使用的是zookeeper的端口； 单机连通性能测试 运行producer bin/kafka-console-producer.sh --b
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
01-02
WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available. 这是因为你的配置文件中的PLAINTEXT跟你请求的内容不同。...
2014年311教育学专业基础综合答案解析.pdf
04-24
教育学考研，考研真题，全国硕士研究生统一考试教育学专业基础综合真题及解析，311历年真题，参考答案，答案解析。教育学统考。
大语言模型安全测试方法
04-24
4月16日联合国日内瓦总部万国宫，由世界数字技术院（WDTA）与云安全联盟大中华区（CSA GCR）联合主办第27届联合国科技大会AI边会上，世界数字技术院（WDTA）发布了两项具有重要意义的国际标准：“生成式人工智能应用安全测试标准”和“大语言模型安全测试方法”。这是国际组织首次在生成式AI应用安全、大模型安全领域发布国际标准，为业界提供了统一的测试框架，标准的发布将对人工智能领域产生深远影响，推动人工智能技术的安全、可靠发展。 这两大标准由云安全联盟大中华区研究院副院长黄连金带领的专家团队编制而成，他们来自CSA大中华区、OpenAI、蚂蚁集团、谷歌、微软、亚马逊、英伟达、OPPO、科大讯飞、百度、腾讯、加州大学伯克利分校、芝加哥大学、香港科技大学等数十家单位，体现了业界的广泛协作与集体智慧。 云安全联盟大中华区主席、世界数字技术院执行理事长李雨航院士发布时介绍，“生成式人工智能应用安全测试标准”为测试和验证生成式AI应用的安全性提供了一个框架，特别是那些使用大语言模型构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围，确保AI应用各个方面都经过严格的安全性和合规性
基于ssm电商网站的设计与实现(部署视频)_kaic.zip
04-24
目 录 目 录 1 绪论 1.1 研究背景 1.2 目的和意义 1.3 论文结构安排 2 相关技术 2.1 SSM框架介绍 2.2 B/S结构介绍 2.3 MYSQL数据库介绍 3 系统分析 3.1 系统可行性分析 3.1.1 技术可行性分析 3.1.2 经济可行性分析 3.1.3 运行可行性分析 3.2 系统性能分析 3.2.1 易用性指标 3.2.2 可扩展性指标 3.2.3 健壮性指标 3.2.4 安全性指标 3.3 系统流程分析 3.3.1 操作流程分析 3.3.2 登录流程分析 3.3.3 信息添加流程分析 3.3.4 信息删除流程分析 4 系统设计 4.1 系统概要设计 4.2 系统功能结构设计 4.3 数据库设计 4.3.1 数据库E-R图设计 4.3.2 数据库表结构设计 5 系统实现 5.1用户信息管理 5.2 商品信息管理 5.3商品分类管理 5.1商品资讯管理 6 系统测试 6.1 系统测试的特点  6.2 系统功能测试 6.2.1 登录功能测试 6.2.2 添加类别功能测试 6.3 测试结果分析 结 论 致 谢 参考文献
Comfast CF-924AC V3无线网卡驱动
最新发布
04-24
https://editor.csdn.net/md/?articleId=137978326文章对应USB 1300M无线网卡驱动，使用方式请参考博文。本驱动为博文对应的RDK X3平台所用，其它平台根据博文链接下载源码编译。
kafka-console-consumer.sh 消费最后1000条数据
05-31
可以使用 `--max-messages` 参数来指定消费的最大消息数，从而实现消费最后1000条数据的功能。命令格式如下： ``` kafka-console-consumer.sh --bootstrap-server <broker_host>:<broker_port> --topic <topic_name> --max-messages 1000 ``` 其中 `1000` 表示最多消费1000条消息。如果指定的 `max-messages` 数量小于主题中当前消息数量，则消费者只会消费最近的 `max-messages` 条消息。 需要注意的是，如果在消费期间有新的消息进入主题，则这些消息不会被消费者消费到，因为 `max-messages` 参数只控制消费的最大消息数，而不是消费的时间范围。如果需要消费一定时间范围内的消息，可以使用 `--timeout` 参数来指定消费的超时时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值