Kafka的工作原理和过程

最新推荐文章于 2024-07-16 11:00:38 发布
最新推荐文章于 2024-07-16 11:00:38 发布
阅读量457 收藏
点赞数
分类专栏： Kafka 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hey_M/article/details/103260916
版权
本文详细介绍了Kafka的生产消息过程，包括消息写入算法、路由策略、HW截断机制和可靠性机制。在消费消息部分，解析了消费者消费流程、Partition Leader选举以及重复消费的解决方案。
摘要由CSDN通过智能技术生成

目录

 

第1章 生产消息

1.1 消息写入算法

1.2 消息路由策略

1.3 HW截断机制

1.4 消息发送的可靠性机制

第2章 消费消息

2.1 消费者消费过程解析

2.2 Partition Leader选举范围

2.3 重复消费问题及解决方案

第1章 生产消息

1.1 消息写入算法

消息生产者将消息发送给broker，并形成最终可供消费者消费的log，是个比较复杂的过程。

  • producer向broker集群提交消息发送请求
  • broker controller接受该请求，并根据消息路由策略计算出该消息要写入的partition
  • broker controller根据 topic 和 partition 去 zookeeper 中找对应的znode状态中该partition的leader。
  • broker controller 向producer反馈消息要写入的partition leader。
  • producer发送消息给该leader。
  • leader接受消息并将该消息写入本地log，通知ISR中的followers进行消息同步。
  • ISR中的followers从leader同步消息完成后，向leader发送ACK。
  • leader收到所有ISR中的follower的ACK后，增加HW表示消费者已经可以消费到该位置了。

1.2 消息路由策

最低0.47元/天 解锁文章
Hey_M
关注
专栏目录
kafka的工作机制
Helon的博客
01-27 1239
kafka架构 kafka拓扑结构说明 producer 消息生产者，发布消息到kafka集群的终端或服务 broker kafka集群中包含的服务器，代理人，消费转发服务 topic 每条发布到kafka集群的消息所属的类别，即kafka是面向topic的 partition partition是物理上的概念，每个topic包含一个或多个partition，kafka分配的单位是partit...
kafka工作原理介绍
热门推荐
Saint
06-27 9万+
两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broker  ...
Kafka工作原理解析以及主要配置详解
weixin_33675507的博客
09-15 218
　　　　　　　　　　　　　　　　　Kafka工作原理解析以及主要配置详解 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　无论是是Kafka集群，还是producer和consumer都依赖于Zookeeper集群保存一些mate信息，来保证系统可用性！这个特点会产生一个现象，即会产生大...
Kafka的工作流程
最新发布
My_wife_QBL的博客
07-16 1246
消息生产: 生产者将消息发送到Kafka集群，并选择目标分区。消息存储: Broker将消息持久化到磁盘，并通过副本机制保证数据的高可用性和容错性。消息消费: 消费者从Kafka集群拉取消息，并处理消息。消费者定期提交消费进度，以确保消息的准确处理和故障恢复。通过理解Kafka的工作流程，可以更好地应用Kafka构建高性能、高可靠性的实时数据处理系统。Kafka的设计理念和丰富的生态系统也使其成为现代数据流处理的重要工具。
初学Kafka工作原理流程介绍
Pan_YT的博客
07-20 1677
Apache kafka 工作原理介绍 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息，对应用提供...
kafka内部工作机制
zgsxhdzxl的博客
02-16 310
集群中成员关系 kafka使用zookeeper来维护成员信息。没个broker都有唯一的id，这个标识可以在配置文件中配置，在broker启动的时候，它会创建临时的节点把id注册到zookeeper中，当有其他broker加入集群中时，会判断是否已经有这个id，如果有相同的id则会注册失败。 当broker宕机的时候，broker创建的临时节点会从zookeeper中移...
Kafka架构和原理
01-27
Kafka是一种分布式流处理平台，它的核心架构包括生产者（Producer）、代理（Broker）和消费者（Consumer）。在Kafka中，生产者负责生成消息和数据，通过网络将这些数据发送到代理服务器。代理服务器（Broker）则作为...
Kafka设计原理详解
Forrest Gump的博客
06-19 370
在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。在kafka集群启动的时候，会自动选举一台broker作为controller来管理整个集群，选举的过程是集群中每个broker都会尝试在zookeeper上创建一个 /controller 临时节点，zookeeper会保证有且仅有一个broker能创建成功，这个broker就会成为集群的总控器controller。 当这个controlle
Kafka工作原理
superiorpengFight的专栏
10-25 2809
一、消息路由策略 在通过 API 方式发布消息时，生产者是以 Record 为消息进行发布的。Record 中包含 key与value，value 才是我们真正的消息本身，而 key 用于路由消息所要存放的 Partition。消息要写入到哪个 Partition 并不是随机的，而是有路由策略的。 1) 若指定了 partition，则直接写入到指定的 partition； 2) 若未指定 partition 但指定了 key，则通过对 key 的 hash 值与 partition 数量取模，该取模
Kafka工作流程分析
weixin_43520450的博客
05-21 523
Kafka工作流程分析一、Kafka生产过程分析1.1 写入方式1.2 分区（Partition）1.3 副本（Replication）1.4 写入流程二、Broker 保存消息2.1 存储方式2.2 存储策略2.3 Zookeeper存储结构三、Kafka消费过程分析3.1 消费模型3.2 高级API3.3 低级API3.4 消费者组3.5 消费方式3.6 消费者组案例 一、Kafka生产过程分析 1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（appe
Kafka工作原理与过程
诸般世界
12-25 260
1 消息路由策略 在通过API方式发布消息时，生产者是以Record为消息进行发布的。Record中包含key与value，value才是我们真正的消息本身，而key用于路由消息所要存放的Partition。消息要写入到哪个Partition并不是随机的，而是有路由策略的。 1) 若指定了partition，则直接写入到指定的partition； 2) 若未指定partition...
kafka系列（13）：kafka 工作机制、处理请求的内部机制
xsxy0506的博客
05-28 295
处理请求的内部机制 broker 的大部分工作是处理客户端、分区副本和控制器发送给分区首领的请求。 Kafka 提供了一个二进制协议(基于 TCP),指定了请求消息的格式以及 broker 如何对请求作出响应——包括成功处理请求或在处理请求过程中遇到错误。 客户端发起连接并发送请求,broker 处理请求并作出响应。 broker 按照请求到达的顺序来处理它们这种顺序保证让 Kaka 具有了消息队列的特性,同时 保证保存的消息也是有序的。 所有的请求消息都...
kafka工作流程以及文件存储机制
Piratesa的博客
10-29 429
Kafka 中消息是以** topic** 进行分类的， 生产者生产消息，消费者消费消息，都是面向 topic的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该og 文件末端，且每条数据都有自己的 offset。消费者组...
Kafka-工作流程及各个组件的工作机制
clearlxj的博客
08-27 286
Kafka 架构深入 Kafka 工作流程及文件存储机制 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,
Kafka的工作原理
wulianwang001的专栏
05-18 5134
pull模式的不足之处在于，如果kafka没有数据，消费者会陷入空循环中，针对这一点，Kafka的消费者会在消费时传入timeout参数，如果当前Kafka中没有数据，消费者会等待一个timeout时长再返回。，会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步，等该follower大于partition的HW时，即follower追上leader时，就可以重新加入ISR了。
KafKa原理机制
weixin_44616592的博客
07-30 1335
文章目录前言：KafKaKafka的高效读写的原因Zookeeper在kafka中的作用Kafka如何保证数据一致性数据可靠性保证（ack机制）ACK应答机制幂等机制offset的维护确定kafka机器的数量(2n+1)Kafka 中数据量计算Kafka如何进行分区的Consumer消费数据的方式常用命令示例 前言： 十年生死两茫茫，千行代码，Bug何处藏。 纵使产品经理祭苍天，又怎样？ 朝令改，夕断肠。 相顾无言，惟有泪千行。 每晚灯火阑珊处，夜难寐，加班狂 KafKa Kafka是一个分布式消息队
第4章 Kafka工作机制详解
留不住斜阳的博客
05-31 678
kafka工作机制详解
kafka ssl 原理
06-03
Kafka SSL 是一种为 Kafka 提供安全传输的机制，它使用 SSL/TLS协议来加密和保护 Kafka Broker 和客户端之间的通信。其原理如下： 1. 证书生成：首先，需要生成 SSL 证书，包括证书颁发机构（CA）、Broker 服务器证书和客户端证书。 2. Broker SSL 配置：在 Kafka Broker 上配置 SSL 监听器，并设置证书路径、密码等参数。此时，Broker 会使用证书对客户端进行身份验证，并使用 SSL/TLS 协议加密数据传输。 3. 客户端 SSL 配置：在 Kafka 客户端上配置 SSL 监听器，并设置证书路径、密码等参数。客户端会使用证书对 Broker 进行身份验证，并使用 SSL/TLS 协议加密数据传输。 4. 交互过程：当客户端连接到 Broker 时，会首先进行 SSL 握手，交换证书和加密密钥等信息。之后，客户端和 Broker 之间的所有通信都会使用 SSL/TLS 协议进行加密和保护。 通过这种方式，Kafka SSL 实现了对数据传输的加密和身份验证，保障了 Kafka 系统的安全性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值