kafka
文章平均质量分 72
cglThk
这个作者很懒,什么都没留下…
展开
-
Kafka的Log存储解析
Kafka的Log存储解析标签(空格分隔): kafka引言Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和pa转载 2015-01-28 11:16:52 · 647 阅读 · 0 评论 -
(场景)kafka的topic多分区的情况,如何保证跨区的消息消费的顺序性
这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。如果one partition -> one consumer的话,就没这样的问题,但失去了并行。如果N partition-> M consumer,1.N2.N>M,这种情况,如何去消费多个partition的,kafka的消费机制要去研究下原创 2015-03-24 11:49:09 · 16305 阅读 · 0 评论 -
storm-kafka常见问题(更新中)
1.报zookeeper NoNode for /brokers/topics/topic_test/partitions,就是说DynamicBrokersReader.getNumPartitions()里面,topicBrokersPath这个路径在zookeeper里面找不到,topicBrokersPath = _zkPath + "/topics/" + _topic +原创 2015-05-19 14:24:18 · 1960 阅读 · 0 评论 -
kafka入门1-集群生产消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1,报下面的错[2014-12-02 14:16:21,565] ERROR Producer connection to localhost:9092 unsuccessful (kafka.producer.SyncProducer)java.原创 2014-12-02 15:51:47 · 8367 阅读 · 0 评论 -
kafka-storm spout拉取数据问题offset out of range(todo)
问题[WARN 2014-12-29 20:40:52 KafkaUtils:185 ASpout:3-MultipleThreadSpoutExecutors] Got fetch request with offset out of range: [232]; retrying with default start offset time from configuration. conf原创 2014-12-30 09:14:09 · 5880 阅读 · 0 评论