kafka 难点

最新推荐文章于 2022-09-09 22:31:48 发布

mengml_smile

最新推荐文章于 2022-09-09 22:31:48 发布

阅读量1.2k

点赞数

分类专栏：中间件文章标签： kafka 分布式

本文链接：https://blog.csdn.net/mengml_smile/article/details/121154075

版权

5 篇文章 0 订阅

订阅专栏

[[Kafka常见面试题](https://blog.csdn.net/qq_28900249/article/details/90346599)
[参考文章](https://www.cnblogs.com/juniorMa/articles/13936154.html)

kafka 为什么那么快
- Cache Filesystem Cache PageCache缓存
- 顺序写由于现代的操作系统提供了预读和写技术，磁盘的顺序写大多数情况下比随机写内存还要快。
- Zero-copy 零拷技术减少拷贝次数

传统传输文件流程
1. 硬盘—>内核buf—>用户buf—>socket相关缓冲区—>协议引擎

零拷贝
1. sendfile系统调用，文件数据被copy至内核缓冲区
2. 再从内核缓冲区copy至内核中socket相关的缓冲区
3. 最后再socket相关的缓冲区copy到协议引擎

总结
相较传统read/write方式，2.1版本内核引进的sendfile已经减少了内核缓冲区到user缓冲区，再由user缓冲区到socket相关缓冲区的文件copy，而在内核版本2.4之后，文件描述符结果被改变，sendfile实现了更简单的方式，再次减少了一次copy操作

* Batching of Messages 批量量处理。合并小的请求，然后以流的方式进行交互，直顶网络上限。

* Pull 拉模式 使用拉模式进行消息的获取消费，与消费端处理能力相符。