消息中间件
csucoderlee
这个作者很懒,什么都没留下…
展开
-
kafka之协调服务
kafka中是使用zookeeper来构建集群的。zookeeper相信大家都了解过,如果之前没接触过zookeeper的同学,可以参考学习下zookeeper的相关内容。知道zookeeper最核心的功能就是提供了一个分布式的存储系统,数据存储方式类似UNIX系统的文件树形结构。zookeeper保证了数据一致性。学习zookeeper,我觉得zookeeper中最主要的是抓住两个特性:临时节点和watcher机制。什么是临时节点?在zookeeper文件树形存储结构中,每个节点被称为ZN原创 2020-08-12 22:19:30 · 345 阅读 · 0 评论 -
kafka之消费
消费者客户端使用kafkaconsumer向broker订阅topic,接收消息进行消费。kafka中消息的消费,要知晓两个紧密相关的概念:消费者consumer和消费者组consumer group。消费者和消费者组每个consumer的实例只属于某一个consumer group。对于每个consumer group,在任意时刻,每个分区partition至多有一个consume实例在消费,反过来,consumer group中的每个consumer独占一个或多个partition分区。原创 2020-08-04 23:22:50 · 402 阅读 · 0 评论 -
kafka是如何实现高性能IO
kafka在众多消息队列中,性能肯定是第一梯队的,有着很高的吞吐量,每秒钟可以达到500M以上的吞吐量。而kafka能够做到这么高的吞吐量,离不开高性能的IO,kafka是从以下几个方面来提升高性能IO的。批处理从生产者发送到消费者消费,整个过程中,kafka都进行了批处理的操作。生产者发送一条消息,无论是同步还是异步发送的,kafka都不会立马把这条消息发送出去,而是先放到内存中,将多个单条消息组成一个批消息,发到broker端。到了broker端,这一个批消息并不会被拆解开,而是仍旧作原创 2020-08-02 23:04:22 · 568 阅读 · 0 评论 -
kafka是如何实现高可用的
HA,也就是高可用,kafka 0.8版本之前是没有HA的,如果一个broker挂了,那么这个分区也就是挂了,分区内的消息都没办法继续被消费。kafka 0.8版本之后引入了副本机制(replicas)。副本机制也是分布式系统中的常用的机制。副本机制:1. 提供了数据冗余,一旦分布式系统某部分出现问题,系统依然能够正常运转,保证了整体的可用性和数据的持久性。2. 提供伸缩性,可以动态的横向扩展,增加系统的吞吐能力3. 针对跨机房跨地域,可以选择就近的备份数据,降低系统的时延kaf原创 2020-08-01 22:51:45 · 1445 阅读 · 0 评论 -
kafka的一些术语
kafka是基于发布与订阅模型的分布式消息引擎。什么是发布与订阅(引用维基百科)在软件架构中,发布-订阅是一种消息范式,消息的发送者(称为发布者)不会将消息直接发送给特定的接收者(称为订阅者)。而是将发布的消息分为不同的类别,无需了解哪些订阅者(如果有的话)可能存在。同样的,订阅者可以表达对一个或多个类别的兴趣,只接收感兴趣的消息,无需了解哪些发布者(如果有的话)存在。简单的来说,消息的生产者只需要通过发布,将消息分类发送到不同的地方,消息的消费者订阅指定的分类,消费其中的消息。主题就是原创 2020-08-01 15:18:48 · 267 阅读 · 0 评论 -
kafka书籍推荐
最近在看消息中间件的内容,自然不能避开kafka这门比较火的消息中间件,哦,当然,平时大家都习惯将消息中间件,说成是消息队列。学习一门新的技术,当然是翻看下官方文档,看看入门系列,至于如果要深入的话,建议可以看看书籍,目前为止可以看的书籍如下。第一本,我推荐《深入理解Kafka:核心设计与实践原理》作者:朱忠华推荐理由,这本书目前是我接触到最新出版的一本书。但是属于进阶系列的。...原创 2019-09-27 00:16:06 · 12365 阅读 · 2 评论