Kafka常见报错和jmx监控指标

最新推荐文章于 2022-02-18 16:56:16 发布
最新推荐文章于 2022-02-18 16:56:16 发布
阅读量1.2k 收藏 1
点赞数
文章标签： 大数据 运维 jira
原文链接：http://blog.51cto.com/renzhiyuan/2376760
版权

日志报错总结：

日志关键字监控项说明备注
Error processing append operation on partition一个类型告警配置了正则过滤了下面的一二情况，如果仍然告警需要留意，通知相关人员。
org.apache.kafka.common.errors.UnknownProducerIdException: Found no record of producerId幂等性问题有一些一天可能只发送一条消息的，如果partition数超过7，比如设成8，设成7天的保留时间就有可能出现上面的问题,像这种消息的保留时间可以设成一个月甚至更长都没问题
org.apache.kafka.common.errors.OutOfOrderSequenceException: Out of order sequence number for producerId幂等性问题有一些一天可能只发送一条消息的，如果partition数超过7，比如设成8，设成7天的保留时间就有可能出现上面的问题,像这种消息的保留时间可以设成一个月甚至更长都没问题
org.apache.kafka.common.errors.NotEnoughReplicas: Number of insync replicas for partitionpartition在ISR中的副本，少于配置文件中要求的min.insync.replica=$配置副本同步成功最小数告警，发生此告警需要留意联系一下相关人员。
Broker may not be availablekafka broker 不可用监控需要留意集群健康情况，联系一下相关人员确认。
WARN Attempting to send response via channel for which there is no open connection5595这个报错的issue在1.0.0版本也就是我们在用的版本已经修复了不影响业务，可调源码需要留意连接zk过多情况
NotLeaderForPartionException：This server is not the leader for that topic-partition发生了leader切换就有可能报NotLeaderForPartionExceptionbroker切换是这样的，因为partiton是均衡分布在各个broker的，所以不管是预期的还是非预期的broker切换，一般都会发生一些topic partition的leader切换，如果此时在完成切换前有读写请求，就会发现短时间的报错现象，切换完就恢复了
WARN Client session timed out, have not heard from server in 4002ms for sessionid 0x100b72efc7c0006 (org.apache.zookeeper.ClientCnxn)客户端连接出现会话超时情况zk会话超时出现的原因可能有多方面，比如网络问题如流量风暴，broker本身性能如full gc影响,zk性能原因等
INFO re-registering broker info in ZK for broker 0 (kafka.server.KafkaHealthcheck$SessionExpireListener)发生了broker重连的情况zk会话超时出现的原因可能有多方面，比如网络问题如流量风暴，broker本身性能如full gc影响,zk性能原因等
Shrinking ISR from 2,0,1 to 0发生了ISR伸缩isr伸缩的原因一般有两种，一种是真的有broker出现了问题下线了，会导致isr缩容，还有一种是复制原因，从节点来不及复制副本数据，这个有可能是发送的数据太大太多
This error can be ignored if the cluster is starting up and not all brokers are up yet集群可能在重启中集群重启时可忽略
UnknownTopicOrPartitionException: This server does not host this topic-partition搜查可能bughttps://issues.apache.org/jira/browse/KAFKA-6221 从issue讨论来看是偶发的，且一段时间会恢复，不会影响集群的，可以忽略

JMX监控指标总结：
参考官网：http://kafka.apachecn.org/documentation.html#monitoring
Kafka常见报错和jmx监控指标
Kafka常见报错和jmx监控指标Kafka常见报错和jmx监控指标

zabbix监控指标：
Kafka常见报错和jmx监控指标
Kafka常见报错和jmx监控指标
Kafka常见报错和jmx监控指标Kafka常见报错和jmx监控指标Kafka常见报错和jmx监控指标

转载于:https://blog.51cto.com/renzhiyuan/2376760

weixin_34402090
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【kafka】Number of insync replicas for partition __transaction_state-4 is below required minimum
九师兄
01-18 1225
1.概述 ERROR [ReplicaManager broker=1008] Error processing append operation on partition __transaction_state-4 (kafka.server.ReplicaManager) org.apache.kafka.common.errors.NotEnoughReplicasException: Number of insync replicas for partition __transaction_stat
使用 JMX 监控 Kafka 集群性能指标
最新发布
weixin_44976692的博客
06-05 3万+
在大规模的生产环境中，实时监控 Kafka 集群的性能指标是确保系统稳定运行的重要手段。本文将介绍如何使用 JMX（Java Management Extensions）监控 Kafka 集群，并展示一些常用的 JMX 指令和指标。通过使用 JMX 监控 Kafka 集群的性能指标，我们可以更好地了解系统的运行状况，并及时发现和处理潜在的问题。结合使用 JConsole、jcmd 和 jstat 等工具，我们可以全面监控 Kafka 集群的各项性能指标，确保系统的稳定运行。
kafka 存储-replicamanager写数据
m0_46449152的博客
03-21 138
入口：处理生产者写入数据请求 KafkaApi.handleProducerRequest -> replicaManager.appendMessages() def appendMessages(timeout: Long, requiredAcks: Short, internalTopicsAllowed: Boolean, messagesPerPartiti
Kafka 副本管理模块（四）：副本写入 appendRecords 方法
lianggx3的博客
10-02 624
副本写入，是指向副本底层日志写入消息。在 ReplicaManager 类中，实现副本写入的方法叫 appendRecords。放眼整个 Kafka 源码世界，需要副本写入的场景有 4 个。 生产者向 Leader 副本写入消息 Follower 副本拉取消息后写入副本 消费者组写入组信息 事务管理器写入事务信息（包括事务标记、事务元数据等） 下面直接看ReplicaManager 类中实现副本写入的方法 appendRecords。 def appendRecords(ti...
30个Kafka常见错误小集合
东城庞太师
08-06 1万+
本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在 或者设置auto.creat
kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
hugo_lei的博客
05-06 1万+
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
kafka 单机集群搭建和监控
11-23
这里推荐使用Kafka自带的JMX指标和第三方工具： 1. **JMX**：通过JMX端口收集Kafka的性能指标，如生产/消费速率、队列延迟等，可使用JMX Proxy工具将其转换成HTTP接口供其他工具使用。 2. **Kafka Metrics ...
offset kafka监控工具 免费
01-26
而"offset kafka监控工具"则是针对Kafka集群进行管理和监控的重要辅助工具，它允许用户查看和管理Kafka主题中的消费偏移量，这对于理解和调试生产者和消费者的同步状态至关重要。 "offset explore"是这类工具的典型...
linux安装kafka监控EFAK安装.docx
07-19
在Linux环境中，对Apache Kafka进行监控是确保系统稳定运行的关键步骤。EFAK（原名为Kafka Eagle）是一个专门用于Kafka集群监控的开源工具，它提供了丰富的可视化界面，可以帮助管理员轻松地监控Kafka节点的状态、...
prometheus-jmx-kafka:Kafka JMX配置文件
05-02
Kafka JMX导出器配置 用于JMX导出器的Kafka度量标准配置文件（ ） 收集器可配置地刮擦并公开JMX目标的Kafka mBean。 它运行Java代理，公开HTTP服务器并提供本地JVM的服务指标。 跑步 要作为javaagent运行，请并运行...
redhat/centos/linux系统上zookeeper和kafka进程监控脚本
02-07
如下所示，手动指定zookeeper和kafka的bin目录、配置文件以及需要添加定时任务的周期几个参数后，执行当前脚本，脚本会自动添加定时任务并开始监控zookeeper及kafka进程，如果进程不存在则重启并放入后台，存在则...
kafka源码分析之副本管理-ReplicaManager
隔壁老杨的专栏
07-27 4550
kafka源码分析 kafka日志的副本管理 kafka副本同步
Kafka报错
qq_42797457的博客
09-17 968
a@DataServer:~/softhome/kafka_2.12-2.3.0/bin$ ./kafka-topics.sh --list -zookeeper localhost:9092 报错 [2019-09-17 10:00:16,020] WARN Client session timed out, have not heard from server in 30001ms for ...
Kafka所有JMX的MBean对象列表
美伊小公主的超级奶爸的专栏
05-27 4196
kafka.network:type=RequestMetrics,name=ResponseSendTimeMs,request=StopReplica kafka.network:type=RequestMetrics,name=ResponseQueueTimeMs,request=ListGroups kafka.server:type=DelayedOperationPurgator
Kafka常用JMX监控指标整理【实战笔记】
大叶子不小的博客
04-25 850
https://kafka.apache.org/22/documentation.html 一、系统相关指标 二、GC相关指标 三、JVM相关指标 四、Topic相关指标 五、Broker相关指标 一、系统相关指标 1.系统信息收集 java.lang:type=OperatingSystem {"freePhysicalMemorySize":"806023168","maxFileDescriptorCount":"4096","openFileDescriptorCount":".
如何使用JMX监控Kafka
热门推荐
朱小厮的博客
12-08 5万+
使用kafka做消息队列中间件时，为了实时监控其性能时，免不了要使用jmx调取kafka broker的内部数据，不管是自己重新做一个kafka集群的监控系统，还是使用一些开源的产品，比如yahoo的kafka manager, 其都需要使用jmx来监控一些敏感的数据。在kafka官网中 http://kafka.apache.org/082/documentation.html#monitori...
kafka各种监控指标
扎克begod的专栏
11-30 1万+
kafka1.0.X 官网采集的监控指标：http://kafka.apache.org/0110/documentation.html#monitoring ### Kafka性能指标 #### kafka.server BrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量 BrokerTopicMetrics,name=BytesInPerSec:...
kafka开启JMX
weixin_46756664的博客
02-18 1998
kafka开启JMX
【kafka】Kafka常用JMX监控指标整理
九师兄
10-16 5878
1.概述 转载：https://cloud.tencent.com/developer/article/1554002 一、系统相关指标 1.系统信息收集 java.lang:type=OperatingSystem {"freePhysicalMemorySize":"806023168","maxFileDescriptorCount":"4096","openFileDescriptorCount":"283","processCpuLoad":"0.0017562901839817224","s.
kafka deserializing报错
05-25
Kafka中的反序列化通常会在消费者端进行，如果出现反序列化报错，可能有以下几种原因： 1. 序列化和反序列化的数据格式不一致，比如序列化使用了 Avro，但是消费者端使用的是 JSON 进行反序列化。 2. 传输过程中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值