kafka
文章平均质量分 89
kafka
月巴左耳东
搞一下不就知道了
展开
-
kubernetes-v1.23.3 部署 kafka_2.12-2.3.0
启动 statefulset 之前,需要先给节点打上标签,因为针对 pod 做了节点和 pod 的亲和性,因为 zookeeper 的数据是通过 hostpath 的方式来持久化的,所以需要固定节点,同时需要 pod 亲和性来控制一个节点只能出现一个 zookeeper 的 pod,避免 hostpath 出现问题。正如开头提到的,我这边使用的是 gfs 来做的持久化,需要通过 endpoints 来暴露给 k8s 集群内部使用,相关的资料可以看我其他的文章。检查 pvc 是否处于 bound 状态。原创 2023-10-02 17:36:41 · 602 阅读 · 0 评论 -
kafka 动态扩容现有 topic 的分区数和副本数
之前的 topic 是 1 副本,12 分区,按照之前的 5-1-0-3-2-4 的顺序来分配第一个副本,然后按照 4-3-2-0-1-5 的顺序来分配第二个副本,我这里的 json 文件就命名为:add_rep_test_topic_update.json,大家可以以自己实际来命名。但是观察消费者组的情况,显示的是都消费了,看起来,应该是和 topic 加入新消费者组的情况一样,不展示,但实际消费数据了(这块是个人的理解,具体的原理需要有兴趣的大佬深究一下,希望能赐教带我飞)通过命令查看消费者组的情况。原创 2023-08-31 15:20:08 · 3810 阅读 · 0 评论