
--------【KafKa】
代立冬
StayHungryStayFoolish外功修行内功修神
-
原创 kafka彻底删除topic
今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion),而我们每天有定时删除topic的shell脚本,会把无用的topic干掉,但发现这些topic只是被标记为删除,而并没有真正删除2017-03-20 15:08:564800
0
-
转载 如何为Kafka集群选择合适的Partitions数量
如何为Kafka集群选择合适的Partitions数量Hadoop技术博文 这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多地分区会导致更高的不可用性4 越多的分区可能增加端对端的延迟5 越多的partition意味着需要客户2016-09-18 10:11:5010163
2
-
原创 Kafka配置文档
http://kafka.apache.org/08/configuration.html2015-07-22 18:28:43841
0
-
转载 Kafka深度解析
Kafka深度解析By Jason Guo 2015-01-02 Updated:2015-05-31 Contents1.背景介绍1.1.Kafka简介1.2.为什么要用消息系统1.3.常用Message Queue对比2.Kafka解析2.1.Terminology2.2.Kafka架构2.2.1.Pu2015-07-14 18:53:302319
0
-
转载 Kafka Tools
参考,https://cwiki.apache.org/confluence/display/KAFKA/System+Toolshttps://cwiki.apache.org/confluence/display/KAFKA/Replication+toolshttp://kafka.apache.org/documentation.html#quickstarthttp:2015-07-22 18:22:493154
0
-
原创 Kafka消息delivery可靠性保证(Message Delivery Semantics)
原文见:http://kafka.apache.org/documentation.html#semantics有这么几种可能的delivery guarantee:At most once 消息可能会丢,但绝不会重复传输At least one 消息绝不会丢,但可能会重复传输Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户所想要的。2015-12-15 07:51:452782
0
-
原创 kafka.common.ConsumerRebalanceFailedException异常解决
kafka.common.ConsumerRebalanceFailedException :test-group_xxx can't rebalance after 4 retries解决办法:1.配置zk问题(kafka的consumer配置)zookeeper.session.timeout.ms=5000zookeeper.connection.2015-11-02 08:46:457368
5
-
原创 [异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)
在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)这是由于2016-01-06 16:24:408808
0
-
原创 class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理
[2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartitionException (kafka.server.ReplicaFetcherThread)[20...2018-03-31 14:21:105565
0