kafka
文章平均质量分 91
WJY_123456
这个作者很懒,什么都没留下…
展开
-
消费者实现逻辑-kafka知识体系4
上篇文章分享kafka broker 的实现原理、数据的存储结构和消息持久化相关的东西,那消息存储完了之后,怎么被消费端消费呢,本文来聊一聊Kafka 消费端的那些事儿。1)拉取机制Kafka生产端是推的机制即Push,消费端是拉的机制即Pull。2)Pull的优缺点优点是消费端可以自己控制消息的读...原创 2021-07-01 13:56:51 · 131 阅读 · 0 评论 -
Broker的实现逻辑-kafka知识体系3
上篇文章分享了kafka 生产端的逻辑,以及消息发送到缓存后由sender线程发送到Broker,那么Broker 是怎么进行数据接收和持久化的呢?下面我们从Broker 的网络设计聊起。Broker 网络设计—kafka的网络设计和Kafka的调优有关,这也是为什么它能支持高并发的原因。Kafka的网络三层架构首先客户端发送请求全部会先发送给一个Acceptor,broker里面会存在3个线程(默认是3个),这3个线程都是叫做processor,Acceptor不会对客户端的请求做任何的处理,直接封装成一原创 2021-06-28 16:50:15 · 85 阅读 · 0 评论 -
生产者的实现逻辑-kafka知识体系2
kafka 是单条发送还是批量发送消息?kafka 怎么做到单条发送?kafka 发送消息是顺序的吗?生产者什么情况下可能会频繁FullGC?消息发送的逻辑—上帝视角来看消息发送的流程。生产者的设计消费发送机制:1)序列化器:序列化消息对象转成字节数组,然后通过网络传输。2)分区器:计算消息发往的具体分区;如果显示指定了partition,便不会走分区器。3)消息缓冲池:客户端的消息缓冲池,默认大小32M,见参数buffer.memory。4)批量发送:缓冲池中消息会按batch分批次发送,默认批次大小16原创 2021-06-24 14:17:09 · 221 阅读 · 0 评论 -
基础概念、架构和新版的升级-Kafka知识体系1
概念—Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用 Scala (JAVA)语言编写,目前是Apache 的开源项目。主要解决应用解耦、异步消息、流量削峰等问题。Kafka实际上也是一个主从架构,有一个Controller角色即控制器,协调管理整个集群。关键术语—brokerKafka 服务器,负责消息存储和转发。topic消息类别,Kafka 按照topic 来分类消息;似于关系型数据库的表。partitiontopic 的分区,一个 topic原创 2021-06-22 10:37:00 · 89 阅读 · 0 评论