kafka
jeanheo
这个作者很懒,什么都没留下…
展开
-
Kafka基础详解
文章目录Kafka基本概念主题消息分区副本偏移量日志段broker和集群生产者消费者和消费组ISRZookeeperKafka设计原理Kafka设计目标Kafka特性消息持久化高吞吐量拓展性安全机制轻量级消息压缩broker配置broker.idlog.dirszookeeper.connectlistenersreplication.factorunclean.leader.election.e...原创 2019-01-28 17:53:52 · 272 阅读 · 0 评论 -
Kafka生产者原理解析
文章目录kafka消息发送流程Kafka创建生产者初始化生产者发送消息示例分区策略producer拦截器生产者配置acksbuffer.memorycompression.typeretresbatch.sizelinger.msmax.request.sizemax.in.flight.requests.per.connection参考kafka消息发送流程流程图如下所示:先初始化一个...原创 2019-01-28 17:54:53 · 1528 阅读 · 0 评论 -
Kafka消费者原理解析
文章目录消费者和消费组创建Kafka消费者分区再均衡触发时机rebalance generatianrebalance协议rebalance流程消费者配置fetch.min.bytesfetch.max.wait.msmax.partition.fetch.bytessession.timeout.msauto.offset.resetenable.auto.commitpartition.ass...原创 2019-01-28 17:55:52 · 6024 阅读 · 2 评论 -
kafka设计和原理解析
文章目录副本与ISR设计follower 副本同步基于水印备份复制LEO更新机制HW更新机制缺陷基于leader epoch物理存储分区分配日志段文件索引文件位移索引文件时间戳索引文件日志留存文件格式log compaction(日志压实)处理请求元数据请求生产请求获取请求控制器控制器职责更新集群元数据信息创建topic删除topic分区重分配preferred leader选举topic分区拓展...原创 2019-01-28 17:58:38 · 690 阅读 · 1 评论