![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
养不起心爱的猫该如何是好
日常记录学习笔记
展开
-
面试题:Kafka为什么吞吐量大、速度那么快
Kafka天生的分布式架构顺序写:Kafka使用了磁盘顺序写来提升的性能。Kafka的message是不断追加到本地磁盘文件末尾的,而不是随机的写入,减少了磁盘寻址的开销Kafka利用了操作系统自身的内存,Kafka的读写操作基本上是基于内存的,读写速度得到了极大的提升。而不是JVM空间内存,避免GC问题,Java对象的内存消耗比较大通过 “零拷贝”的机制,Kafka消费端的性能也大幅提升,零拷贝技术,不需要切换到用户态,在内核态即可完成读写操作,零拷贝避免了在内核空间和用户空间之间的..原创 2022-02-01 19:17:45 · 3236 阅读 · 0 评论 -
SpringBoot集成kafka
这是我看的SpringBoot集成kafka中最爽的一篇文章https://blog.csdn.net/yuanlong122716/article/details/105160545/原创 2021-12-13 16:28:00 · 950 阅读 · 0 评论 -
Kafka消息数据积压如何处理?
可以从两方面考虑:1、如果是Kafka消费能力不足,则可以考虑增加Topic的分区数(一般一个Topic分区数为3-10个),并且同时提升消费组的消费者数量,消费者数==分区数。两者缺一不可2、如果是下游的数据处理不及时:则提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间<生产速度),使处理的数据小于生产的数据,也会造成数据积压。原文:https://blog.csdn.net/qq_35139965/article/details/107942546...转载 2021-12-13 16:18:15 · 1327 阅读 · 0 评论 -
Kafka消费者组的理解
**什么是Kafka消费者组**什么是consumer group?consumer group是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组,那么组内可以有多个消费者或消费者实例(consumer instance),共享一个公共的ID,即group ID。组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。当然,每个分区只能由同一个消费组内的一个consumer来消费。其实记住这三个特性就可以理解Kafka消费者组了原创 2021-12-13 15:24:10 · 1866 阅读 · 0 评论