Kafka

于 2024-03-11 21:45:21 发布
阅读量971 收藏 21
点赞数 25
文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/randou_/article/details/136625006
版权

目录

什么是 Kafka

Kafka 的应用

作为消息系统

作为存储系统

作为流处理器

Kafka 系统架构

核心 API

Kafka 为何如此之快

        零拷贝

        消息压缩

        顺序读写

        分批发送

Kafka 基本概念

broker

producer 生产者

consumer 消费者

Topic 主题

partition 分区 

segment 段

什么是 Kafka

Kafka 是一个分布式流式平台，它有三个关键能力

  1. 订阅发布记录流，它类似于企业中的消息队列 或 企业消息传递系统

  2. 以容错的方式存储记录流

  3. 实时记录流

Kafka 的应用

  • 作为消息系统

    • 三个基本组件

      • Producer : 发布消息的客户端

      • Broker：一个从生产者接受并存储消息的客户端

      • Consumer : 消费者从 Broker 中读取消息

  • 作为存储系统

    • Kafka 运行在一个或多个数据中心的服务器上作为集群运行

    • Kafka 集群存储消息记录的目录被称为 topics

    • 每一条消息记录包含三个要素：键（key）、值（value）、时间戳（Timestamp）

  • 作为流处理器

    • Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。

    • 建立流式应用传输和响应数据。

Kafka 系统架构

Kafka 系统架构

如上图所示，一个典型的 Kafka 集群中包含

  • 若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），
  • 若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），
  • 若干Consumer Group，
  • 以及一个Zookeeper集群。
    • Kafka通过Zookeeper管理集群配置，选举leader，
    • 以及在Consumer Group发生变化时进行rebalance。
    • Producer使用push模式将消息发布到broker，
    • Consumer使用pull模式从broker订阅并消费消息。

核心 API

apis

Kafka 有四个核心API，它们分别是

  • Producer API，它允许应用程序向一个或多个 topics 上发送消息记录
  • Consumer API，允许应用程序订阅一个或多个 topics 并处理为其生成的记录流
  • Streams API，它允许应用程序作为流处理器，从一个或多个主题中消费输入流并为其生成输出流，有效的将输入流转换为输出流。
  • Connector API，它允许构建和运行将 Kafka 主题连接到现有应用程序或数据系统的可用生产者和消费者。例如，关系数据库的连接器可能会捕获对表的所有更改

Kafka 为何如此之快

  • 零拷贝
    • Kafka 实现了零拷贝原理来快速移动数据，避免了内核之间的切换。
  • 消息压缩
    • 批处理能够进行更有效的数据压缩并减少 I/O 延迟
  • 顺序读写
    • Kafka 采取顺序写入磁盘的方式，避免了随机磁盘寻址的浪费。
  • 分批发送
    • Kafka 可以将数据记录分批发送，从生产者到文件系统（Kafka 主题日志）到消费者，可以端到端的查看这些批次的数据。

Kafka 基本概念

  • broker

    • Kafka 集群包含一个或多个服务器，每个 Kafka 集群中服务器被称为 broker。

      • broker 是集群的组成部分，每个集群中都会有一个 broker 同时充当了 集群控制器(Leader)的角色，它是由集群中的活跃成员选举出来的。

      • 每个集群中的成员都有可能充当 Leader，Leader 负责管理工作，包括将分区分配给 broker 和监控 broker。

      • 集群中，一个分区从属于一个 Leader，但是一个分区可以分配给多个 broker（非Leader），这时候会发生分区复制。这种复制的机制为分区提供了消息冗余，如果一个 broker 失效，那么其他活跃用户会重新选举一个 Leader 接管。

    • broker 接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。

    • broker 为消费者提供服务，对读取分区请求作出响应，返回已经提交到磁盘上的消息。

  • producer 生产者

    • 消息的发布者，会将某 topic 的消息发布到相应的 partition 中。
    • 生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。
    • 不过，在某些情况下，生产者会把消息直接写到指定的分区。

  • consumer 消费者

    • 消息的使用者，一个消费者可以消费多个 topic 的消息，
    • 对于某一个 topic 的消息，其只会消费同一个 partition 中的消息

疑问：一条消息划分topic后，topic（主题） 中的消息会被分割为一个或多个的 partition（分区），并且在默认情况下把消息均衡地分布到主题的所有分区上，以追加的形式写入分区，那么如果消费者对于某一个 topic 的消息，其只会消费同一个 partition 中的消息，那么只得到了消息的一部分信息？

        在消费者组的概念下，单一消费者并不需要获取全部的消息

        实际运用中可以指定生产者将消息写入指定分区，同时消费者可以决定消费指定分区的消息，消费者组中的消费者不会消费同一分区：

  • Topic 主题
    • kafka 使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。
    • topic 相当于消息的分配标签，是一个逻辑概念。主题好比是数据库的表，或者文件系统中的文件夹
  • partition 分区 
    • topic 中的消息被分割为一个或多个的 partition，它是一个物理概念，对应到系统上的就是一个或若干个目录，一个分区就是一个 提交日志。
    • 消息以追加的形式写入分区，先后以顺序的方式读取。
    • 单个 Partition 分区可以保证有序

  • 由于一个主题包含无数个分区，因此无法保证在整个 topic 中有序，
  • 但是单个 Partition 分区可以保证有序。
    • 消息被迫加写入每个分区的尾部。
    • Kafka 通过分区来实现数据冗余和伸缩性
  • 分区可以分布在不同的服务器上
    • 既一个主题可以跨越多个服务器，以此来提供比单个服务器更强大的性能。
  • segment 段
    • 将 Partition 进一步细分为若干个 segment，每个 segment 文件的大小相等。
Bepardon
关注
  • 25
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81.68.232.188:9094"); //把发送的key从字符串序列化为字节数组 props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); //把发送消息value从字符串序列化为字节数组 props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializ
kafka参数配置详解
03-24
kafka参数配置详解
kafka-map工具
08-02
kafka-map是一个连接kafka的页面工具
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;
ansible-kafka
05-22
humio.kafka Kafka安装程序可与Humio一起运行 要求 该角色必须有权访问Zookeeper的安装 角色变量 请参阅。 在无法访问互联网的机器上，可以将kafka_mirror变量设置为"master"以从主目录的文件目录中复制Kafka tarball。 kafka_mirror : " master " 机架意识 如果您指定每个Kafka节点所在的机架，则Kafka支持机架识别。这可以通过在Kafka中设置broker.rack设置来完成。 通过kafka_broker_rack变量在此Ansible角色中进行配置。 为使此工作正常进行，请确保在清单中将每个机架或数据中心都定义为一个组，并分配了适当的计算机。 然后，您可以直接在清单中设置kafka_broker_rack变量，也可以为每个适当定义它的机架/数据中心组创建一个group_vars文件。 默认情况
SpringBoot集成kafka全面实战
热门推荐
Felix
03-28 19万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
kafka
Django的博客
01-29 2万+
Kafka是什么 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特...
Kafka 副本
02-11 3万+
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。HW：指的是消费者能见到的最大的offset，ISR队列中最小的LEO。
kafka常用命令
zhangmuqiang的博客
07-05 8134
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
Kafka集群部署
想你依然心痛的博客
06-15 5万+
好了，Kafka的集群部署我们就讲到这里了，这几篇主要针对大数据集群环境的搭建进行了讲解，包括创建虚拟机、Linux操作系统的安装与配置、安装JDK、ZooKeeper集群部署、Hadoop集群部署、Spark集群部署、HBase集群部署以及Kafka集群部署。通过这几篇的学习，希望读者熟悉大数据集群环境的搭建流程，并掌握ZooKeeper、Hadoop、Spark、HBase和Kafka集群的部署，为后续项目的开展奠定基础。启动Kafka集群时，需要确保ZooKeeper集群是正常启动的。
kafka学习资料ppt
06-27
大数据，kafka
向kafka插入数据测试
07-12
向kafka插入数据测试
kafka-2.13-3.4.0.tgz
02-10
Kafka是一种高吞吐量的分布式发布订阅消息系统
华为kafka.zip
11-20
华为客户端中的kafka与zookeeper 依赖包，因为其是定制的，如果不使用这些jar包，无法对接kerberos认证
【Kafka】Windows下安装Kafka（图文记录详细步骤）
tttzzzqqq2018的博客
08-06 2万+
(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 (二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
【微服务】springboot整合kafka-stream使用详解
最新发布
congge
12-24 9420
kafka stream使用详解
kafka 开启认证授权
卷心菜投手
10-10 3127
kafka Kraft 模式 用户名密码 认证
kafka 和 redis 图形管理UI工具
03-23
史上最轻便好用的kafka ui界面客户端工具，可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群 部署简便，可以一键启动，不需要配置数据库、不需要搭建web容器 支持zookeeper ui界面化操作;...
KAFKA
06-01
指的是在空闲分区链表中找到最小的能够满足要求的空闲分区进行分Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性和容错性配。具体实现过程如下： ```c #include <stdlib.h> #include <stdio.h> // 内存块头等特点。它主要由三部分组成：生产者、消费者和消息传递系统。生产结构 typedef struct mem_block { int size; // 内存块大小 int used; // 是否被占用，1者可以将消息发送到Kafka集群，消费者可以从Kafka集群中读取消息。Kafka的消息表示已被占用，0表示空闲 struct mem_block *next; // 指向下一个内存块的指针传递系统是基于发布/订阅模式实现的，可以方便地支持多个消费者对同 } mem_block_t; // 空闲分区链表头结构 typedef struct free_block { int size; // 空闲一个主题进行订阅。同时，Kafka还提供了一系列的API和工具，方便开发人员进行消息处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值