kafka
我终于有blog了
菜鸟一只
展开
-
kafka安装及应用
1.安装zookeeperKafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/ 1.2 解压文件(本文解压到 D:\zookeeper-3.4.8) 1.3 打开D:\zookeeper-3.4.8\conf,把zoo_sa原创 2017-09-19 17:06:29 · 442 阅读 · 0 评论 -
kafka的坑
大神的链接:https://www.infoq.cn/article/MLMyoWNxqs*MzQX7lvzO原创 2018-11-08 15:57:12 · 448 阅读 · 0 评论 -
Kafka Consumer Rebalance
0.8.2.2之前版本版本: Kafka的Consumer Rebalance方案是基于Zookeeper的Watcher来实现的。每个consumer group(cg)在zk下都维护一个”/consumers/[group_name]/ids”路径,在此路径下,使用临时节点记录属于此cg的消费者的Id,该Id信息由对应的consumer在启动时创建。还有两个与ids同一级别的节点,他们分...转载 2019-03-13 14:08:14 · 1047 阅读 · 0 评论 -
Kafka集群Leader均衡(Balancing leadership)
当一个broker停止或者crashes时,所有本来将它作为leader的分区将会把leader转移到其它broker上去。这意味着当这个broker重启时,它将不再担任何分区的leader,kafka的client也不会从这个broker来读取消息,从而导致资源的浪费。比如下面的broker 7是挂掉重启的,我们可以发现Partition 1虽然在broker 7上有数据,但是由于它挂了,所以K...转载 2019-03-13 14:40:17 · 3083 阅读 · 0 评论 -
kafka数据丢失总结
数据丢失是一件非常严重的事情事,针对数据丢失的问题我们需要有明确的思路来确定问题所在,针对这段时间的总结,我个人面对kafka 数据丢失问题的解决思路如下: 是否真正的存在数据丢失问题,比如有很多时候可能是其他同事操作了测试环境,所以首先确保数据没有第三方干扰。 理清你的业务流程,数据流向,数据到底是在什么地方丢失的数据,在kafka 之前的环节或者kafka之后的流程丢失?比如k...转载 2019-03-13 16:14:40 · 8423 阅读 · 1 评论