![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 53
TAIKEMAN
这个作者很懒,什么都没留下…
展开
-
【Kafka实战】SpringBoot整合Kafka
Windows下 kafka安装及使用kafka的docker安装和压缩包安装——修改中Springboot整合kafkaspring boot整合Kafka原创 2023-05-14 09:52:23 · 107 阅读 · 0 评论 -
【Kafka面试】Kafka中实现高性能的设计有了解过吗?
的流程:一个消费者去消费消息,首先用户空间的Kafka服务会先到页缓存中去找有没有这个消息,没有再到磁盘文件中去读取文件中的消息。把消息拷贝到页缓存中,再从页缓存中将数据拷贝到用户空间的Kafka中。的流程:一个生产者去发送消息,肯定是在用户空间发起的,消息时要存储在磁盘文件中,用户空间没有权限调用磁盘读写,会先把数据拷贝到内核空间的页缓存中去处理,页缓存中数据到了一定批次后,就会把数据写入到磁盘中。,用户空间权限比较小,内核空间权限更大一些,可以调用系统的一切资源。Linux的IO模型:划分两个空间,原创 2023-05-14 09:02:35 · 55 阅读 · 0 评论 -
【Kafka面试】Kafka数据清理机制了解过吗?
一、Kafka文件存储机制1. 存储结构Kafka生产者通过topic发送数据,topic只是一个逻辑概念,真正存储数据的位置是分区,分区在broker机器上对应的是文件夹(topic名称-分区号)分区内部存储了数据文件,也是分段存储的。在一个分区下可能存在多个日志分区段(segment)每个段都对应了3个文件:.index索引文件、.log真正的数据文件、.timeindex时间索引文件2. 为什么要分段?删除无用文件(已经被消费过很长时间的文件)更方便,提高磁盘利用率查找数据更便捷原创 2023-05-13 09:36:37 · 1545 阅读 · 0 评论 -
【Kafka面试】Kafka的高可用机制有了解吗?
一、集群模式Kafka集群由多个broker组成,每个broker就是Kafka实例。假如某个broker宕机,在集群中其他的broker依然可以对外提供服务,这个就是集群能够保证高可用性。二、分区备份机制分区提供了副本机制,一个分区可能存在多个副本,并且这些副本分别存储在不同的broker中。leader副本对外提供读写数据,同一个分区下的所有副本存储的内容是一样的。由leader负责把数据同步给其他follower。当某个分区的leader所在的broker宕机了,就会从其他的br原创 2023-05-10 21:46:57 · 400 阅读 · 0 评论 -
Kafka面试】Kafka如何保证消费的顺序性?
一、业务场景二、解决方案消费者组的某个消费者可能负责消费一个topic的多个分区。每个分区都维护了偏移量(都是从0开始的),在消息存储时按照一定的策略来找到不同的分区进行存储,消费同样如此,并不能保证消息的顺序性。要想保证顺序性,可以只提供一个分区,或者相同的业务只在一个分区下进行存储和消费,因为同一个分区的偏移量是由顺序的。这样,就能保证消息的顺序性。topic分区中消息只能由消费者组中的唯一一个消费者处理,所以消息肯定是按照先后顺序进行处理的,但是它也仅仅是保证topic的一个分区顺序处原创 2023-05-10 21:17:06 · 2773 阅读 · 0 评论 -
【Kafka面试】Kafka如何保证消息不丢失?
使用Kafka时,在消息的收发过程中都有可能会出现消息丢失。原创 2023-05-10 20:55:41 · 3581 阅读 · 2 评论 -
【Kafka面试】Kafka消费积压百万数据怎么办?
干货总结!Kafka 面试大全(万字长文,37 张图,28 个知识点)高频面试题:kafka消费积压百万数据怎么办原创 2023-05-07 14:43:45 · 181 阅读 · 0 评论 -
【Kafka原理】数据积压问题
Kafka消费者消费数据的速度是非常快的,但是如果在处理Kafka消息时,由于外部IO或者网络拥堵会导致Kafka中的数据积压(数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。原创 2023-05-07 14:10:05 · 946 阅读 · 0 评论 -
【Kafka原理】生产、消费数据工作流程
一、Kafka数据写入流程获取对应分区leader的位置:生产者先从zookeeper的“/brokers/topics/主题名称/partitions/分区名称/state”节点找到该分区的leader位置获取对应的broker信息:生产者在zookeeper中找到该id对应的brokerbroker进程上的leader将消息写入到本地log中follower从leader上拉取消息,写入本地log,并向leader发送ackleader接收到所有的ISR中的replica的ack后,并原创 2023-05-07 11:48:05 · 441 阅读 · 0 评论 -
【Kafka原理】分区的leader和follower
Kafka启动时,会在所有的broker(集群节点)中选择一个controller之前的leader和follower是针对分区而言的,而controller是针对broker的创建topic、添加分区、修改副本数量等管理任务都是由controller完成的Kafka分区leader的选举,也是有controller决定的。原创 2023-05-07 11:17:28 · 2534 阅读 · 1 评论