![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
毛小树
Explore the unknown world!
展开
-
读书笔记——Kafka核心技术与实战(生产者分区机制原理)
为什么分区?分区作用是提供负载均衡的能力,对数据分区是为了实现系统的高伸缩性 (High Scalability).不同的分区可放置在不同节点的机器上(同一个分区的副本可以分布在不同的机器上),数据的访问操作都是针对分区这个粒度进行的,这样每个节点的机器都独立执行各自分区的读写请求;增加新的节点机器来增加整理的吞吐量;分区策略是什么?有哪些?分区策略是指决定生产者将消息发送到哪...原创 2019-08-25 16:15:23 · 232 阅读 · 0 评论 -
读书笔记——Kafka核心技术与实战(生产者压缩算法小结)
压缩:Conpression用时间去换取空间的经典 trade-off 思想,用 CPU 时间换磁盘空间或网络 IO 传输量,用较少的 CPU 开销带来更少的磁盘占用或 IO 传输。Kafka 的消息层次消息集合 message set 和 消息 message,一个消息集合包含多个日志项 record item。日志项才是真正封账消息的地方, Kafka 通常会在消息集合层面进行写入...原创 2019-08-25 16:38:38 · 191 阅读 · 0 评论