Kafka
文章平均质量分 91
逆水行舟如何
热爱开源,喜欢去研究各种源码
展开
-
Kafka为什么这么快?
从高度抽象角度来看,性能问题逃不出下面三个方面:网络磁盘复杂度对于 kafkaf这种网络分布式队列来说,网络和磁盘更是优化的重中之重,针对上面提出的抽象问题,解决方案高度抽象出来也很简单:并发压缩批量缓存算法优化点:1.顺序写(producer -> broker)为什么说写磁盘慢?完成一次磁盘IO,需要经过 寻道、旋转和数据传输三个步骤:寻道时间:Tseek是指将读写磁头移动至正确的磁道上所需要的时间旋转延迟: trotation是指盘片旋转将请求数据所在的扇原创 2021-03-28 17:16:14 · 189 阅读 · 0 评论 -
Kafka 生产者(Producer)详解
Producer : 消息生产者,就是向Kafka broker 发消息的客户端。 下面将从producer的分区策略,数据可靠性保证、Exactly Once、Producer API 来进行介绍。1、分区策略1)分区原因 方便在集群中扩展(相当于负载) :每个Partition 可以通过调整以适应它所在的机...原创 2020-01-08 11:15:29 · 6724 阅读 · 0 评论 -
Kafka 是如何保证数据可靠性和一致性
1、数据可靠性 下面从Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。Producer 往 Broker 发送消息 如果我们要往 Kafka 对应的主题发送消息,我们需要通过 Producer 完成。前面我们讲过 Kafka 主题对应了多个分区,每个分区下面又对应了多个副本;为...原创 2019-11-28 19:14:50 · 448 阅读 · 0 评论 -
Kafka消息队列
一、kafka的介绍1、kafka的概述kafka最初是由Linkedin开发的一个机遇发布订阅的分布式的消息系统,由scala/java编写,并与2011年初开源kafka是一个分布式消息队列:具有生产者、消费者的功能。它提供了类似与JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现kafka对消息保存时根据Topic进行归类,发布消息的称为producer,消息的接...原创 2018-12-27 23:09:06 · 2449 阅读 · 0 评论 -
Kafka原理与技术
一、Kafka的设计原理 1、 Kafka整体系统架构 一个典型的Kafka集群包括若干Producer,若干Broker,若干Consumer,以及一个Zookeeper集群。 Kafka通过Zookeeper管理集群配置,选举Leader,以及在Consumer Group发...原创 2019-01-17 11:26:30 · 263 阅读 · 0 评论 -
Kafka中的分区分配(面试点)
“请你简述一下Kafka中的分区分配” 以前在面试中遇到了这个问题,当时不太清楚balabala说了一大堆,现在总结下,希望对大家有用。在Kafka中,分区分配是一个很重要的概念,却往往会被读者忽视,它会影响Kafka整体的性能均衡。当遇到“分区分配”这个字眼的时候,一定要记住有三处地方,分别是生产者发送消息、消费者消费消息和创建主题。虽然这三处的对应操作都可以被...原创 2019-06-24 11:49:07 · 1320 阅读 · 0 评论