kafka基础学习（五）集群和集成springcloud config

kafka集群部署

• kafka天然支持集群
• kafka集群天然依赖于zookeeper
• kafka主要通过brokerId区分不同节点

kafka集群之lead选举

• kafka并没有采用多少投票来选举leader
• kafka会动态维护一组leader数据的副本ISR
• kafka会在isr中选择一个速度快的设为leader

 

kafka集群监控

雅虎的CMAK工具。

 

spring cloud config

示例：port 7002 的configClient 

 

@refreshscope 

 spring cloud Bus

• 提供了服务总线的功能
• 提供了微服务节点与消息系统连接的功能
• 提供了事件处理机制与消息中间件的功能

 kafka日志原理

• kafka的日志是以partition为单位进行保存
• 日志目录格式为TOPIC名称+数字
• 每个partition的日志会分为大小相等的segment，每个segement中的数量不一定
• 每个partition只支持顺序读写