kafka是单独的进城吗_kafka假死，jps进程在，但是无法生产和消费数据。

最新推荐文章于 2021-01-19 10:56:53 发布
最新推荐文章于 2021-01-19 10:56:53 发布
阅读量599 收藏
点赞数
文章标签： kafka是单独的进城吗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39557402/article/details/111883299
版权
这篇博客记录了Kafka在运行中出现的异常情况，具体表现为Kafka进程正常，但无法进行生产和消费数据。错误日志显示为连接到其他节点时被断开，导致ReplicaFetcherThread在尝试fetch数据时遇到IOException。问题可能涉及到网络连接和Kafka集群间通信故障。
摘要由CSDN通过智能技术生成

[2019-03-06 22:35:12,306] WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@4e9b2495 (kafka.server.ReplicaFetcherThread)

java.io.IOException: Connection to 1 was disconnected before the response was read

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:115)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:112)

at scala.Option.foreach(Option.scala:257)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:112)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:108)

at kafka.utils.NetworkClientBlockingOps$.recursivePoll$1(NetworkClientBlockingOps.scala:137)

at kafka.utils.NetworkClientBlockingOps$.kafka$utils$NetworkClientBlockingOps$$pollContinuously$extension(NetworkClientBlockingOps.scala:143)

at kafka.utils.NetworkClientBlockingOps$.blockingSendAndReceive$extension(NetworkClientBlockingOps.scala:108)

at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:253)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)

at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)

at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)

at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)

[2019-03-06 22:35:44,314] INFO [Group Metadata Manager on Broker 4]: Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.GroupMetadataManager)

[2019-03-06 22:35:44,342] WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@19d368a4 (kafka.server.ReplicaFetcherThread)

java.io.IOException: Connection to 1 was disconnected before the response was read

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:115)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:112)

at scala.Option.foreach(Option.scala:257)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:112)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:108)

at kafka.utils.NetworkClientBlockingOps$.recursivePoll$1(NetworkClientBlockingOps.scala:137)

at kafka.utils.NetworkClientBlockingOps$.kafka$utils$NetworkClientBlockingOps$$pollContinuously$extension(NetworkClientBlockingOps.scala:143)

at kafka.utils.NetworkClientBlockingOps$.blockingSendAndReceive$extension(NetworkClientBlockingOps.scala:108)

at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:253)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)

at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)

at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)

at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)

[2019-03-06 22:36:16,351] WARN [ReplicaFetcherThread-0-1], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@44510d44 (kafka.server.ReplicaFetcherThread)

java.io.IOException: Connection to 1 was disconnected before the response was read

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:115)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1$$anonfun$apply$1.apply(NetworkClientBlockingOps.scala:112)

at scala.Option.foreach(Option.scala:257)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:112)

at kafka.utils.NetworkClientBlockingOps$$anonfun$blockingSendAndReceive$extension$1.apply(NetworkClientBlockingOps.scala:108)

at kafka.utils.NetworkClientBlockingOps$.recursivePoll$1(NetworkClientBlockingOps.scala:137)

at kafka.utils.NetworkClientBlockingOps$.kafka$utils$NetworkClientBlockingOps$$pollContinuously$extension(NetworkClientBlockingOps.scala:143)

at kafka.utils.NetworkClientBlockingOps$.blockingSendAndReceive$extension(NetworkClientBlockingOps.scala:108)

at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:253)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)

at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)

at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)

at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)

at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)

weixin_39557402
关注
【kafka】 kafka 0.10报错IOException: Connection to 1 was disconnected before the response was read
九师兄
07-04 4202
不知道什么原因,kafka报错 3.问题排查 我也遇到了这个问题，网上答案如下 由于是线上应用，基本没时间排查问题，所以立即重启了1台Kafka，重启后得到缓解。 在服务正常之后，在网上搜了很多答案，有的人说是网络问题，close wait过多导致broker网络不通，从而Kafka产生脑裂问题。 参考：Kafka服务不可用(宕机)问题踩坑记 ...
python kafka消费不到数据_logstash无法消费kafka数据
weixin_39793434的博客
12-17 3258
通过在控制台执行logstash，可以看到正常连接到kafka，但数据一直无法消费，然后过大约5分钟后连接就断开了，也能看到明显的提示[WARN ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator][main] [Consumer clientId=logstsh-0, groupId=gc] This member ...
kafka假死 和解决 Java Max Direct Memory Size 问题
DreamWeaver_Zhou
09-24 3864
一、前言 早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。 二、排错 1、查看机器监控，看是否能大概定位是哪个节点有异常 技术分享 2、根据机器监控大概定位到其中一个异常节点，登录服务器查看kafka日...
java.io.IOException: 连接被对方重设 Connection reset
贾世鑫的博客
10-29 1万+
错误日志 错误原因： 解决方式：
channel disconnected问题的解决
douzi24的专栏
04-26 4720
<br /> protected function searchBtn_clickHandler(event:MouseEvent):void { if ("" == searchTxt.text) getEmployeesResult.token = employeeService.getEmployees(); else getEmployeesResult.token = employeeService.getEmployeesByName(se
java.io.IOException: UT000036: Connection terminated parsing multipart data
yunxuantu的博客
10-10 2万+
  java.lang.RuntimeException: java.io.IOException: UT000036: Connection terminated parsing multipart data at io.undertow.servlet.spec.HttpServletRequestImpl.parseFormData(HttpServletRequestImpl.jav...
kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）
06-22
1、使用bootstrap、userName、password连接kafka。 2、可使用text、json格式发送topic消息。...通过Kafka生产者和消费者工具，应用程序可以轻松地与Kafka集群进行交互，从而实现实时数据处理和流分析等功能。
Kafka-Grpc_kafka_assignment_
10-01
2. **生产者与消费者**：生产者负责将数据发布到主题，消费者则订阅主题并消费数据。Kafka支持多消费者模型，允许多个消费者实例并行处理数据，提高了数据处理效率。 3. **持久化与复制**：Kafka的数据持久化到磁盘...
kafka生产者和消费者的javaAPI的示例代码
08-27
在本文中，我们将详细介绍 Kafka 生产者和消费者的 Java API 示例代码，以及相关的知识点和概念。 Kafka 概述 Apache Kafka 是一个分布式流媒体平台，用于构建实时数据管道和事件驱动的系统架构。Kafka 通过提供高...
modbusScan
12-04
不觉得自己编程序麻烦吗？这个Modbus通讯的串口测试软件，基本上解决了Modbus的通讯测试问题。
class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理
数据之路
03-31 6788
 [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartitionException (kafka.server.ReplicaFetcherThread)[20...
Kafka的坑： 消费者无法消费消息
热门推荐
厚积薄发
03-29 2万+
问题：今天使用Kafka做一个小DEMO，但运行的时候，可以在控制台上看到生产者发送的消息，无法看到消费者在消费消息，但通过命令行可以看到消费者消费的消息。 生产者应该是没有问题的，给出消费者的代码： /** * Kafka消费者 */ public class KafkaConsumer extends Thread{ private String topic; public...
Kafka遇到无法消费的问题记录
yanminghaop的博客
08-31 2922
Kafka服务部署情况 节点 服务 master kafka slave1 kafka slave2 kafka slave3 kafka slave4 kafka 无法消费情况 可以生产但无法消费 尝试在kafka的shell中自产自消 生产者 ./kafka-console-producer.sh --broker-list ip:9092 --topic ymh 消费者 ./kafka-console-consumer.sh --bootstrap-serv
Kafka无法消费的问题解决记录
jackycjw的博客
01-19 4773
今天同事那边出现了一个关于kafka无法消费的小问题。 框架是springboot，相同的程序，相同的配置，第一次启动可以消费到数据，第二次启动就无法消费。 经排查原因是： request.timeout.ms配置的时间太长，且第一次退出程序时，是强制退出，并不是优雅的关闭资源后退出。 这样导致kafka服务端针对该groupId的消费者仍然在拉取消息（TCP的特性）。后启动的程序由于groupId相同，无法分配到partition。故无法消费 解决方案： 1、程序优雅的关闭，不要强制退出。这样spring
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值