Kafka
文章平均质量分 84
amwayy
这个作者很懒,什么都没留下…
展开
-
Kafka 中文文档
原文地址 http://kafka.apache.org/documentation.html 第四章 4.4 生产者负载均衡生产者直接把数据发给对应分区的主代理, 为了做到这点,所有的节点都能相应生产者关于那个服务在线以及那个话题分区的领导者是谁的请求, 并且允许生产者直接占用这个请求。客户端控制着把数据发送到那个分区, 可以通过随机的方式也可以通过指定的方式来控制发送那个分...原创 2015-03-04 11:01:20 · 272 阅读 · 0 评论 -
Kafka 测试环境宕机原因查询(一)
使用环境说明 a) kafka 使用版本: kafka_2.9.2-0.8.1b) 三台虚拟机 10.3.63.5 10.3.63.6 10.3.63.7 分别对应的是 1 2 3 三个节点。 宕机现象 a) 目前看到的现象是 storm 无法写入和查询(当时没有确定是那种情况), 而通过查看zookeeper中的 broker借点,发现只有3, 1 两个, 而不...原创 2015-03-05 10:21:32 · 4964 阅读 · 0 评论 -
Kafka 测试环境宕机原因查询(二)
上节遗留问题 a) 关于 inLock(controllerContext.controllerLock) 这个代码, 因为 controllerLock 是 ReentrantLock 类型 的锁, 所以如果 处理 session失效的zookeeper线程成功抢占当前嗦的话,就能进入到 handleNewSession 内部方法, 并进一步 执行 onContr...原创 2015-03-05 10:27:11 · 1045 阅读 · 3 评论 -
Kafka 启动过程
1, 每个broker启动的时候都会去注册一个临时节点 /controller, 那个broker先注册这个节点,那个就是所有broker的leader,并将自己的信息写入到这个临时节点里面。如下: [zk: 10.3.63.204:2181,10.3.63.205:2181(CONNECTED) 3] get /controller{"version":1,"brokerid":0,"ti...原创 2015-05-27 11:04:02 · 313 阅读 · 0 评论 -
Kafka 转移分区分析
1, 关于如何转移分区: 以及如何新增节点的问题, 我们在 Kafka中文文档 中已经有过叙述。详细参考 2, 分析命令的执行过程 : 分区调用的脚本是 kafka-reassign-partitions.sh, 具体内容是: exec $(dirname $0)/kafka-run-class.sh kafka.admin.ReassignPartitionsCommand $@...原创 2015-05-27 17:55:52 · 763 阅读 · 0 评论