![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 91
Bug型程序员
这个作者很懒,什么都没留下…
展开
-
(4)Kafka高效读写原理、选举过程和事务实现
1.Kafka高效读取数据(1)顺序写入磁盘 kafka的broker收到producer数据时,以log文件尾部追加方式顺序写入。顺序写入大于随机写入效率在于,省去了大量磁头寻址时间。 一次完整的输入输出(IO)操作的时间=磁盘轴旋转时间(旋转延迟)+磁盘臂移动时间(寻道时间)+数据传输时间。三者所需时间的平均经验值为:0.004秒、0.008秒和0.0005秒。所以,一次完整的IO时间的经验值是0.0125秒,即1/80秒。 因为磁盘的盘片可分为多个扇区,顺序写只需要...原创 2021-10-23 02:15:41 · 1684 阅读 · 0 评论 -
(3)Kafka消费者工作机制详解
1.消费方式(pull vs push) 传统Push模式虽然实时性高,但是容易造成consumer来不及处理消息,导致拒绝服务及网络拥塞。 consumer采用pull(拉)模式从broker读取数据,这样可以控制消费速度。 pull缺点:如果kafka没有数据,消费者可能会限于获取空数据的循环中。因此可以设置timeout参数,如果没有数据可供消费,consumer会等待一段时间再返回拿。 2.消费时分区分配策略 由于CG中有多个 consumer,一个 top...原创 2021-10-23 01:27:25 · 1553 阅读 · 0 评论 -
(2)Kafka中生产者工作机制详细介绍
1.生产者分区机制(1)分区原因 提高可扩展性:集群可通过设置Topic的Partition数量,以适应合适大小的数据。 提高并发:以Partition为单位读写。 (2)数据分区原则 ①直接指明partition值 ②不执行partition,而通过key-value,进行哈希取余得到partition ③轮询算法:只有value时,随机生成一个整数值,与Topic可用的partition数量取余。2.生产者可靠性保证(1)可靠...原创 2021-10-21 01:50:12 · 1271 阅读 · 0 评论 -
(1)Kafka设计架构综述
1.Kafka介绍(1)基本概念 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者的所有动作流数据。 这种动作如: 活动数据:网站用户行为数据,例如PV(页面浏览量),UV(用户访问量) 运营数据: 监控系统性能指标(cpu利用率、负载,内存使用率,磁盘利用率,IO性能) 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决,特性如下: 海量数据不可变 实时处理 对于像Hadoop的一样的日志数据和离线分析系统,...原创 2021-10-21 01:38:29 · 1368 阅读 · 0 评论