关闭

Kafka 学习笔记(五)之Kafka Trouble Shooting (上)

标签: 软件kafkaexception
963人阅读 评论(0) 收藏 举报
分类:

Kafka Trouble Shooting

前几篇写的客户端是使用,实在理想状态下的,没有错误。然而,理想很丰满,现实很骨感啊!Kafka一个最大的麻烦就是会遇到各种错误,exception会夹杂在大量的background noise中,很难定位错误。(这让我觉得Kafka特别不成熟,但是鉴于想linkedin这种大公司都在用这个呢,我们就忍忍吧。。。)今天我们来看看kafka的各种exception和他们都是什么意思。


1.  producer can not connect to Kafka

--kafka.common.KafkaException: fetching topic metadata for topics [Set(t1)] from broker [ArrayBuffer(id:0, host:localhost, port:9092)] failed

Caused by: java.net.ConnectException: connection failed.

问题可能原因:

  • 查看host 和 port, 在brokerlist
  • telnet查看网络状况
  • 最后一个可能的原因多发生在virtual network 的情况下,例如我们用的主机是Amazon AWS。AWS的主机在server内部用一个地址,但是外部看主机的时候用的是另外一个地址,所以当broker advertise它们自己的时候,可能用的是内部地址。Broker may register with the wrong host, 用advertised.host 来解决。把advertised.host 注释掉,然后用能从外部链接上你主机的地址,看好host 和 port。
2. producer LeaderNotAvailable Error
-- Warn Error while fetching metadata, no partition metadata for topic t1 due to 
kafka.common.LeaderNotAvailableException
问题可能原因:
  • 是否Create the topic
  • auto.create.topic,enble=true?true的时候,在写入一个不存在的topic是会自动create topic,但是,leader的configure会滞后一点儿,需要等一会儿
  • 等待retry,kafka会从replication 里选择leader
  • default.replication.factor 要比broker的数量少,不然topic创建不了
  • kafka-topics.sh --zookeeper localhost:2181 --describe, 查看broker list 看看leader是否存在
3. topic is not deleted
这个是我最头疼的问题,研究了好久,都没能成功删除topic,后来急了,不用命令了,直接手动去文件夹里删除topic文件了,都没删除了。。。
  1. 删除delete,然后就没有然后了,啥也没发生。。。
  2. --delete命令执行完了,永远的 marked for deletion
  3. 当时删除了,在重启,又出现了,简直没法删除,跟年糕一样
可能原因:
  • 0.8.2.0版本之前kafka没有删除topic的功能
  • 如果是mark for deletion,过几个小时还没删除掉的话,去config里,server.properties 将delete.topic.enable 设置为true
  • 如果还是不行,auto.create.topic.enable的话,删掉了之后,client得到metadata后会再create出来,所以要distable
4. Consumer 得不到data
可能原因:
  • 没有可用消息
  • default设置,Consumer只接收新消息(offset 默认largest)
  • 消息长度大于fetch.message.max.bytes
  • consumer 的code没写对,可能接收了,没print出来一类的
  • 查看offset设置,如何查看呢:
        bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker


用法 :bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group avg --zookeeper localhost:2181

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:29132次
    • 积分:431
    • 等级:
    • 排名:千里之外
    • 原创:17篇
    • 转载:0篇
    • 译文:0篇
    • 评论:5条
    最新评论