![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka技术
okhymok
这个作者很懒,什么都没留下…
展开
-
kafka原理详解
1、什么是kafka?是一个分布式发布-订阅消息系统和一个强大的队列,适合离线和在线消息消费,扩展性特别好。Kafka消息保留在磁盘上,并在集群内复制以防止数据丢失。Kafka为什么比其他的MQ都快,采用的是机制是顺序写入磁盘和Memory Mapped Files(内存映射文件)。顺序写入:每个partition都是一个文件,kafka会把收到的message插入到文件末尾,每个co...原创 2019-12-13 23:04:20 · 216 阅读 · 0 评论 -
kafka:leader选举(broker /分区)
broker的leader:Kafka集群Leader选举原理我们知道Zookeeper集群中也有选举机制,是通过Paxos算法,通过不同节点向其他节点发送信息来投票选举出leader,但是Kafka的leader的选举就没有这么复杂了。Kafka的Leader选举是通过在zookeeper上创建/controller临时节点来实现leader选举,并在该节点中写入当前broker的信...原创 2019-12-13 22:53:21 · 3213 阅读 · 0 评论 -
kafka:topic为什么要进行分区?副本机制是如何做的
kafka为什么要在topic里加入分区的概念?如果没有分区,topic中的segment消息写满后,直接给订阅者不是也可以吗?若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈。有了分区后,假设一个topic可能分为10个分区,...原创 2019-12-13 22:51:09 · 592 阅读 · 0 评论