kafka
文章平均质量分 70
西堂AI编程提效
一周三更编程干货
大厂程序员
厦大硕士
专注于AI编程提效、数字人领域
展开
-
Kafka总结
同一个主题的不同分区包含的消息是不同的。 Kafka 保证的是分区有序而不是全局有序。 topic 是逻辑上的概念,partition是物理上的概念,因为每个partition 都对应于一个.log文件存储在kafka 的log目录下,该log 文件中存储的就是producer 生产的数据。 消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。 一般分区数和消费者数保持相等,如果这个主题的消费者数大于主题的分区数,那么多出来的消费者将消费不到数据,只能浪费系统资源。 生产原创 2022-01-28 23:13:21 · 3518 阅读 · 0 评论 -
kafka生产者消费者
生产者生产者发送确认机制半数follower响应全部follower响应–>改进:ISR机制:in-sync-replica set【挑选进入isr的follower规则:1、同步的时间 2、和leader相差的条数(0.9版本中被去掉)】注意:isr中的follower和正常的follower的概念问题acks配置0:发送完就返回。At most once1:只等待leader写完就返回。-1:leader和follower都写完返回,会有数据重复问题(当主leader挂了,fo原创 2021-11-21 16:52:31 · 1336 阅读 · 0 评论 -
kfaka基本概念
Kafka第一章 kafka基本概念文章目录Kafka一、kafak作用?二、基本概念一、kafak作用?Kafka是一种高吞吐量的分布式发布订阅消息系统,具有高性能、持久化、多副本备份、横向扩展能力。优点:解耦、削峰和灵活、缓冲(生产大于消费)、可恢复性二、基本概念broker:一个kafka服务实例,几个broker共同组成一个集群topic:消息分类 **注意:**Topic分区中消息只能由消费者组中的唯一一个消费者处理partition:一个topic有多个parti原创 2021-11-21 13:30:41 · 1429 阅读 · 0 评论