![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
姜希成
岁月流逝,将来的某时某处,我会在叹息中想起,林间的路分成两股,而我选择了人迹罕至之徒,那一刻起,一切差别已成定铸。
展开
-
Kafka-代码模板
【代码】Kafka-代码模板。原创 2024-09-04 10:38:14 · 102 阅读 · 0 评论 -
Kafka-优化
JVM参数设置:bin/kafka-start-server.sh 中的jvm设置。Kafka可视化管理工具:kafka-manager。原创 2024-09-04 10:31:00 · 479 阅读 · 0 评论 -
Kafka-基础
也可以根据消息中的某一个关键字来进行区分。每个partition中的消息都有一个唯一的编号,称之为offset,用来唯一标示某个分区中的message。这意味kafka中的consumer对集群的影响是非常小的,添加一个或者减少一个consumer,对于集群或者其他consumer来说,都是没有影响的,因为每个consumer维护各自的消费offset。一个partition中的message的offset都是唯一的,但是不同的partition中的message的offset可能是相同的。原创 2024-09-04 10:25:16 · 560 阅读 · 0 评论 -
Kafka-设计原理
HW:HW俗称高水位,HighWatermark的缩写,取一个partition对应的ISR中最小的LEO(log-end-offset)作为HW,consumer最多只能消费到HW所在的位置。Kafka的复制机制既不是完全的同步复制,也不是单纯的异步复制,很好的均衡了确保数据不丢失以及吞吐率。当producer生产消息至broker后,ISR以及HW和LEO的流转过程。原创 2024-09-04 10:12:37 · 478 阅读 · 0 评论