Kafka
你说个der
努力~
展开
-
Kafka优化,Kafka生产者参数配置详解
前言参数详解acksbuffer.memorycompression.typeretiresbatch.sizelinger.msclient.idmax.in.flight.requests.per.connectiontimeout.ms、request.timeout.ms和metadata.fetch.timeout.msmax.block.msmax.request.sizereceive.buffer.bytes和send.buffer...原创 2020-09-29 14:48:06 · 3529 阅读 · 0 评论 -
Kafka写磁盘为什么那么快?
我们都知道Kafka一大特点就是快,每秒甚至可以达到百万级别的吞吐量,然后这种级别的吞吐量居然还是基于磁盘的读写,那么kafka是如何做到的呢?接下来我们就一起来分析下其中的奥妙。磁盘顺序写对于一般的机械硬盘来说如果要查找某个数据,需要先寻址,然后通过机械运动(磁头臂驱动磁头找到对于的磁道、扇面)来读取数据,这种飘忽不定的查询方式就造成了大量的时间消耗在了机械运动上,磁头被不停的移来移去,所以说我们一般说的磁盘读写慢实际上更强调的是磁盘随机读写慢。所以相对随机读写,顺序读写就快很多了,因为顺序读转载 2020-09-11 17:50:35 · 460 阅读 · 0 评论 -
通俗易懂的Kafka零拷贝机制
Kafka之所以那么快,其中一个很大的原因就是零拷贝(Zero-copy)技术,零拷贝不是kafka的专利,而是操作系统的升级,又比如Netty,也用到了零拷贝。下面我就画图讲解零拷贝,如果对你有帮助请点个赞支持。传统IOkafka的数据是要落入磁盘的,那么必然牵扯到磁盘的IO,传统磁盘IO又叫缓存IO,效率是很低的,那么为什么效率低呢?我们先来粗略讲讲操作系统的知识。用户空间以及内核空间的概念:我们知道现在操作系统都是采用虚拟存储器。那么对32位操作系统而言,它的寻址空间(虚拟存储空间)原创 2020-09-11 11:01:00 · 7360 阅读 · 5 评论