深入理解kafka核心设计与实践原理_读书笔记_第1章初识Kafka

最新推荐文章于 2024-08-13 23:09:53 发布

lightupworld

最新推荐文章于 2024-08-13 23:09:53 发布

阅读量752

点赞数 1

分类专栏： kafka 文章标签： kafka 大数据分布式 zookeeper

本文链接：https://blog.csdn.net/lightupworld/article/details/106624296

版权

本文深入探讨了Kafka的基本概念，包括其体系架构、主题Topic、分区Partition和偏移量offset。文章还详细阐述了生产者分区分配策略、多副本机制，以及AR、ISR、OSR等关键概念。此外，解析了HW和LEO的关系，并对比了Kafka的同步复制和异步复制机制。

摘要由CSDN通过智能技术生成

第一章初始Kafka

1.1 基本概念

Kafka“扮演”三大角色

    ·消息系统

        Kafka 具备系统解耦、冗余存储、流量 峰、缓冲、异步通信、扩展性、 可恢复性等功能。

        与此同时， Kafka供了大多数消息系统难以实现的消息顺序性保障 及 回溯消费的功能

    ·存储系统

        得益于 Kafka 的消息持久化功能和多副本机制，Kafka 可以作为长期的数据存储系统来使用，

        只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可

    ·流式处理平台

        Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，

        还供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操

1.1 基本概念

在这里插入图片描述

1.体系架构

		若干Producer  若干broker  若干Consumer 一个zookeeper集群

        ZooKeeper：Kafka用来负责集群元数据的管理、控制器的选举等操作的。

        Producer： 生产者，负责创建消息，将消息发送（push）到 Broker，

        Broker：服务代理节点，Broker可以简单看做一个独立的kafka节点或者Kafka实例 负责将收到的消息存储到磁盘中

        Consumer：消费者， 负责从 Broker 订阅并拉取消费（pull）消息。