![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 82
独影月下酌酒
这个作者很懒,什么都没留下…
展开
-
Kafka基本架构
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。(传统使用)Kafka是一个开源的分布式事件流平台(event streaming platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。原创 2024-04-22 13:11:27 · 719 阅读 · 0 评论 -
Kakfa高效读写数据
无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能:一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,本文也是从这两个方面去剖析Kafka为什么能那么快。kafka高效读写的原因:利用partition 并行处理顺序写磁盘,充分利用磁盘特性利用了现代操作系统分页存储 Page Cache 来利用内存提高 I/O 效率采用了零拷贝技术。原创 2023-09-27 22:15:04 · 452 阅读 · 0 评论 -
kafka-consumer-groups.sh消费者组管理
拿到所有在线Broker列表 再给每个Broker发送。请求获取 消费者组数据。原创 2023-09-27 16:03:19 · 1664 阅读 · 0 评论 -
消费者提交已消费的偏移量
消费者而在消费了消息之后会把消费的offset提交到的内置Topic中;每个消费者组都有维护一个当前消费者组的offset。那么问题来了:消费组什么时候把offset更新到broker中的分区中呢?Kafka消费者的配置信息Name描述default如果为true,消费者的offset将在后台周期性的提交true如果enable.auto.commit设置为true,则消费者偏移量自动提交给Kafka的频率(以毫秒为单位)5000。原创 2023-09-27 15:28:49 · 468 阅读 · 0 评论 -
消费者偏移量_consumer_offsets相关解析
是 kafka 自行创建的,和普通的 topic 相同。它存在的目的之一就是保存 consumer 提交的位移。的每条消息格式大致如图所示:group.id+topic+分区号,而 value 就是 offset 的值。考虑到一个 kafka 集群中可能有很多consumer和,如果这些 consumer 同时提交位移,则必将加重 __consumer_offsets 的写入负载,因此 kafka 默认为该 topic 创建了50个分区,并且对每个group.id做哈希求模运算。原创 2023-09-27 14:48:31 · 243 阅读 · 0 评论 -
Kafka Log存储解析以及索引机制
在Kafka架构,不管是生产者Producer还是消费者Consumer面向的都是Topic。Topic是逻辑上的概念,而Partition是物理上的概念。每个Partition逻辑上对应一个log文件,该log文件存储是Producer生产的数据。Producer生产的数据被不断追加到该log文件末端,且每条数据都有自己的offset。Kafka对于log文件是采取分片和索引机制。原创 2023-09-27 13:58:26 · 1398 阅读 · 0 评论 -
Kafka数据可靠性保证
为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进行下一轮的发送,否则重新发送数据。leader收到数据,所有follower都开始同步数据,但有一个follower,因为某种故障,迟迟不能与leader进行同步,那leader就要一直等下去,直到它完成同步,才能发送ack。这个问题怎么解决呢?原创 2023-09-27 00:24:23 · 365 阅读 · 0 评论