![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
txxs
这个作者很懒,什么都没留下…
展开
-
kafka中zk的作用
zk相当于是kafka的一个基础设施,了解zk在kafka中的作用,可以对kafka的原理有进一步的了解,现在就开始学习这块的内容,首先从controller看起,这是zk中一个重要的组成:Controller 作为 Kafka Server端一个重要的组件,它的角色类似于其他分布式系统Master的角色,跟其他系统不一样的是,Kafka集群的任何一台Broker都可以作为Controller,但...原创 2019-10-24 09:00:13 · 7004 阅读 · 1 评论 -
kafka是如何做到高效的
上篇文章是我们在设计系统的如何让它做到高可用,这篇文章学习一下在设计时候如何把消息队列设计的高效,当然这个还是以kafka为原型去学习,首先从整体上看,有哪些措施导致了kafka的快呢?总体架构:利用Partition实现并行处理ISR实现可用性与数据一致性的动态平衡具体设计:顺序写磁盘充分利用Page Cache零拷贝批处理高效的序列化方式数据压缩降低网络负载Kafk...原创 2019-10-23 21:12:25 · 382 阅读 · 0 评论 -
kafka如何做到高可用的
常常想如果让你去设计一个高可用的系统,你怎么去做?这里要回答两个问题:如何保证宕机的时候数据不丢失? 答:副本多副本之间数据如何同步? 答:同步;异步;半同步;ISR这里我们看一下kafka是怎么设计做到高可用的,学习一下它:如何保证宕机的时候数据不丢失?对于每一个Topic,我们都可以设置它包含几个Partition,每个Partition负责存储这个Topic一部分的数据。然后K...原创 2019-10-23 18:47:58 · 990 阅读 · 0 评论 -
kafka消费的过程
消费模型消息由生产者发布到Kafka集群后,会被消费者消费。消息的消费模型有两种:推送模型(push)和拉取模型(pull)。基于推送模型(push)的消息系统,由消息代理记录消费者的消费状态。消息代理在将消息推送到消费者后,标记这条消息为已消费,但这种方式无法很好地保证消息被处理。比如,消息代理把消息发送出去后,当消费进程挂掉或者由于网络原因没有收到这条消息时,就有可能造成消息丢失(因为消息...原创 2019-10-23 17:10:48 · 1358 阅读 · 0 评论 -
kafka写入的过程
前几天和大佬交流,说一些大牛可以分分钟复制一个中间件,拿这个标准衡量自己还是差的有点远的,在工作中经常用到的是kafka,现在有点时间再深入了解一下kafka的写入过程。几个基本的概念:broker: 消息处理结点,多个broker组成kafka集群。topic: 一类消息,如page view,click行为等。partition: topic的物理分组,每个partition都是一个...原创 2019-10-23 14:54:07 · 6254 阅读 · 0 评论