kafka
Jacob_llz
这个作者很懒,什么都没留下…
展开
-
apache kafka系列之在zookeeper中存储结构
目录(?)[-]1topic注册信息2partition状态信息Broker注册信息4 Controller epoch 5 Controller注册信息6 Consumer注册信息7 Consumer owner8 Consumer offset1.topic注册信息/brokers/topics/[topic] :存储某个topi转载 2017-10-20 16:40:52 · 285 阅读 · 0 评论 -
彻底删除kafka的topic方法
1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录2、Kafka 删除topic的命令是:kafka/bin/kafka-topics.sh --delete --zookeeper Zookeeper地址 --topic 主题名称如果kafaka启动时加载的配置文件中server.p转载 2017-10-20 17:53:48 · 1000 阅读 · 0 评论 -
Spark Streaming 'numRecords must not be negative'问题解决
问题描述笔者使用spark streaming读取Kakfa中的数据,做进一步处理,用到了KafkaUtil的createDirectStream()方法;该方法不会自动保存topic partition的offset到zk,需要在代码中编写提交逻辑,此处介绍了保存offset的方法。 当删除已经使用过的kafka topic,然后新建同名topic,使用该方式时出现了"numReco转载 2017-10-20 18:14:57 · 647 阅读 · 0 评论 -
Kafka踩坑 - Couldn't find leaders for Set
报错信息如下:查看kafka相关的主题信息:[java] view plain copy[root@slave10 bin]# kafka-topics --describe --zookeeper 10.2.20.39:2181,10.2.20.40:2181,10.2.20.41:2181 --topic h5MarkData Topic:h5MarkData PartitionCou...转载 2017-11-07 09:43:07 · 1000 阅读 · 0 评论