Kafka 学习笔记(五)之Kafka Trouble Shooting (上)

原创 2015年07月11日 08:00:37

Kafka Trouble Shooting

前几篇写的客户端是使用,实在理想状态下的,没有错误。然而,理想很丰满,现实很骨感啊!Kafka一个最大的麻烦就是会遇到各种错误,exception会夹杂在大量的background noise中,很难定位错误。(这让我觉得Kafka特别不成熟,但是鉴于想linkedin这种大公司都在用这个呢,我们就忍忍吧。。。)今天我们来看看kafka的各种exception和他们都是什么意思。


1.  producer can not connect to Kafka

--kafka.common.KafkaException: fetching topic metadata for topics [Set(t1)] from broker [ArrayBuffer(id:0, host:localhost, port:9092)] failed

Caused by: java.net.ConnectException: connection failed.

问题可能原因:

  • 查看host 和 port, 在brokerlist
  • telnet查看网络状况
  • 最后一个可能的原因多发生在virtual network 的情况下,例如我们用的主机是Amazon AWS。AWS的主机在server内部用一个地址,但是外部看主机的时候用的是另外一个地址,所以当broker advertise它们自己的时候,可能用的是内部地址。Broker may register with the wrong host, 用advertised.host 来解决。把advertised.host 注释掉,然后用能从外部链接上你主机的地址,看好host 和 port。
2. producer LeaderNotAvailable Error
-- Warn Error while fetching metadata, no partition metadata for topic t1 due to 
kafka.common.LeaderNotAvailableException
问题可能原因:
  • 是否Create the topic
  • auto.create.topic,enble=true?true的时候,在写入一个不存在的topic是会自动create topic,但是,leader的configure会滞后一点儿,需要等一会儿
  • 等待retry,kafka会从replication 里选择leader
  • default.replication.factor 要比broker的数量少,不然topic创建不了
  • kafka-topics.sh --zookeeper localhost:2181 --describe, 查看broker list 看看leader是否存在
3. topic is not deleted
这个是我最头疼的问题,研究了好久,都没能成功删除topic,后来急了,不用命令了,直接手动去文件夹里删除topic文件了,都没删除了。。。
  1. 删除delete,然后就没有然后了,啥也没发生。。。
  2. --delete命令执行完了,永远的 marked for deletion
  3. 当时删除了,在重启,又出现了,简直没法删除,跟年糕一样
可能原因:
  • 0.8.2.0版本之前kafka没有删除topic的功能
  • 如果是mark for deletion,过几个小时还没删除掉的话,去config里,server.properties 将delete.topic.enable 设置为true
  • 如果还是不行,auto.create.topic.enable的话,删掉了之后,client得到metadata后会再create出来,所以要distable
4. Consumer 得不到data
可能原因:
  • 没有可用消息
  • default设置,Consumer只接收新消息(offset 默认largest)
  • 消息长度大于fetch.message.max.bytes
  • consumer 的code没写对,可能接收了,没print出来一类的
  • 查看offset设置,如何查看呢:
        bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker


用法 :bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group avg --zookeeper localhost:2181

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

武汉佛香缘o5

向来以言谈夸张,举止豪放闻名的小S与武汉佛香缘被传遭遇老公家庭暴力,佛香缘。小S与武汉佛香缘和夫婿许雅钧(Mike)萤幕上恩爱,但却传出因为家庭暴力案,遭有关机构通报查看详情日前,向来以言谈夸张,举止...

kafka 学习笔记(四)之Python客户端

今天看看Python客户端。 代码在github上,和以前一样,我们用github上写好的代码进行测试 https://github.com/mumrah/kafka-python pip inst...

Kafka 学习笔记(六)之Kafka Trouble Shooting (下)

书接上文,继续讲可能遇到的错误 5.Brokers drop out of ISR 可能原因: kafka默认的是大于4000message滞后的时候就drop ISRreplica.lag.ma...

elasticsearch中的mapping简介

最近项目准备用到elasticsearch, 首先需要搞清楚elasticsearch的一些概念,在网上发现这篇文章不错,以通俗易懂的语言讲明白了mapping的概念。 默认mapp...

kafka安装(二)

1、Create a topic localhost:bin jack$ kafka-topics.sh --create --zookeeper localhost:2181 --replicati...

Kafka 学习笔记(三)之Java Consumer客户端

写了producer,这篇我们来看看consumer。

Kafka 学习笔记(八)之producer读取file

要想让Kafka用到实际中,就需要学会让Kafka从文件中读取内容,发送到topic里,以供consumer读取。我们以前的几篇,自己产生data的,不是从file中读的。 之前先下载好scp,sc...

Kafka 学习笔记(七)之Kafka Consistency

Kafka Consistency guarantee 包括(这个在kafka官网上,在这里总结概述一下) 1. 在一个partition里,消息是顺序的 2.consumer 收到消息的顺序就...

Kafka 学习笔记(九)producer 和 consumer分别在两个虚拟机上

这个才是Kafka真正要实现的功能嘛,有人生产消息,有人订阅消息然后生产者发送给订阅者,这个逻辑才对。我们先配置有traffic消息的虚拟机。我是通信的,Kafka我用来监听traffic,所以消息是...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)