![](https://img-blog.csdnimg.cn/direct/115bd560be5d455282e8b1251ae3e0f6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 94
由浅入深带你领略kafka的魅力~
Hyatt1024
业精于勤而荒于嬉
展开
-
【Kafka系列 08】生产者消息分区机制详解
我们在使用 Apache Kafka 生产和消费消息的时候,肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集应用服务器的日志数据,这种数据都是很多的,特别是对于那种大批量机器组成的集群环境,每分钟产生的日志量都能以 GB 数,因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上,就成为一个非常重要的问题。原创 2024-03-10 15:45:23 · 775 阅读 · 0 评论 -
【Kafka系列 07】Kafka 如何保证消息不丢失
一直以来,很多人对于 Kafka 丢失消息这件事情都有着自己的理解,因而也就有着自己的解决之道。在讨论具体的应对方法之前,我觉得我们首先要明确,在 Kafka 的世界里什么才算是消息丢失,或者说 Kafka 在什么情况下能保证消息不丢失。这点非常关键,因为很多时候我们容易混淆责任的边界,如果搞不清楚事情由谁负责,自然也就不知道由谁来出解决方案了。那 Kafka 到底在什么情况下才能保证消息不丢失呢?一句话概括,Kafka 只对“已提交”的消息(committed message)做有限度的持久化保证。原创 2024-03-08 17:47:53 · 1097 阅读 · 0 评论 -
【Kafka系列 06】Kafka Producer源码解析
调用 KafkaProducer.send() 发送消息,在经过拦截器处理,key/value 序列化处理后,实际是将消息保存到 消息累加器 RecordAccumulator 中,实际上就是保存到一个 Map 中 (ConcurrentMap),这条消息会被记录到同一个记录批次 (相同主题相同分区算同一个批次) 里面,这个批次的所有消息会被发送到相同的主题和分区上。原创 2024-02-28 19:49:54 · 1448 阅读 · 0 评论 -
【Kafka系列 05】Kafka 副本机制详解
Kafka 是有主题概念的,而每个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的,每个分区配置有若干个副本。所谓副本(Replica),本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义,同一个分区下的所有副本保存有相同的消息序列,这些副本分散保存在不同的 Broker 上,从而能够对抗部分 Broker 宕机带来的数据不可用。原创 2024-01-18 20:22:39 · 1913 阅读 · 0 评论 -
【Kafka系列 04】Kafka 性能调优,怎么做?
通常来说,调优是为了满足系统常见的非功能性需求。在众多的非功能性需求中,性能绝对是我们最关心的那一个。不同的系统对性能有不同的诉求,比如对于数据库用户而言,性能意味着请求的响应时间,用户总是希望查询或更新请求能够被更快地处理完并返回。对 Kafka 而言,性能一般是指和。吞吐量,即TPS,是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数,这个值自然是越大越好。延时,与类似响应时间,它表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。原创 2024-01-18 20:22:06 · 1451 阅读 · 0 评论 -
【Kafka系列 03】生产级集群参数配置
本文将从 Bocker 端参数、Topic 级别参数、JVM 端参数、操作系统级别参数分别介绍 Kafka 集群参数应该怎么配置。文中提到的这些参数都很重要,请读者仔细阅读理解,因为有些配置并未体现在官方文档中,并且从实际表现看,很多参数对系统的影响要比从文档上看更加明显。原创 2024-01-17 18:42:28 · 1220 阅读 · 0 评论 -
【Kafka系列 01】Kafka 是什么?
Kafka 是什么?用一句话概括一下:Apache Kafka 是一款开源的消息引擎系统。是分布式流处理平台。原创 2024-01-16 19:04:17 · 806 阅读 · 0 评论 -
【Kafka系列 02】Kafka 线上集群部署方案
Kafka集群部署需从操作系统、磁盘、磁盘容量和带宽等方面考虑。原创 2024-01-16 19:03:45 · 1129 阅读 · 0 评论