Kafka Broker 基本架构二

已于 2023-02-16 14:33:58 修改
阅读量1.3k 收藏
点赞数
分类专栏： Kafka 文章标签： Kafka Broker
于 2021-11-16 11:46:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/an13654067079/article/details/121349359
版权
本文介绍了Kafka的C/S架构，重点解析了其分布式双节点的Server架构。Kafka服务器称为broker，消息发布以Topic为类别，每个Topic可划分为多个Partition。这种设计确保了数据的分布式存储和高效检索。
摘要由CSDN通过智能技术生成

1 架构

      Kafka  是 C/S架构

2 Server架构

    Kafka Server端架构是分布式的  ，下图是分布式双节点的举例

   

2.1 broker

   一个独立的Kafka 服务器被称为broker

2.2 topic

        每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic

2.3 partion

      主题可以被分为若干个分区

this is a book
关注
专栏目录
MQTT 服务器（broker）
草上爬的博客
01-24 1万+
EMQ X是一个基于Erlang语言的开源mqtt服务器，目前来看是开源的最好的mqtt服务器，也是国内开源的mqtt服务器，优点是功能全面，文档齐全，社区活跃，有很好的支持，缺点是因为erlang语言，对于其他语言的开发者自己扩展有一定难度。EMQ X 是一款完全开源，高度可伸缩，高可用的分布式 MQTT 消息服务器，适用于 IoT、M2M 和移动应用程序，可处理千万级别的并发客户端。
eventing-kafka-broker:备用Kafka Broker实施
04-17
2. `eventing-kafka-broker`目录：这里可能包含了Kafka Broker的主要实现代码，包括事件的接收、处理和分发逻辑。 3. 测试文件：为了确保代码质量，项目通常会包含各种测试用例，用来验证功能正确性和性能。 4. 配置...
【五】kafka体系架构之kafka服务端概述（broker、控制器）
Sid小杰的博客
01-23 832
1.Broker处理请求流程 在Kafka的架构中，会有很多客户端向Broker端发送请求，Kafka 的 Broker 端有个 SocketServer 组件，用来和客户端建立连接，然后通过Acceptor线程来进行请求的分发，由于Acceptor不涉及具体的逻辑处理，非常得轻量级，因此有很高的吞吐量。 接着Acceptor 线程采用轮询的方式将入站请求公平地发到所有网络线程中，网络线程池默认大小是 3个，表示每台 Broker 启动时会创建 3 个网络线程，专门处理客户端发送的请求，可以通.
Kafka的Broker：构建高效分布式消息系统的核心组件
最新发布
My_wife_QBL的博客
07-17 544
Broker（代理）定义：Kafka Broker 是 Kafka 集群中的一个服务器节点，负责存储和处理消息数据。每个 Broker 可以独立运行，多个 Broker 组成一个 Kafka 集群。作用：Broker 接收生产者发送的消息，将其存储在磁盘上，并提供给消费者进行读取。Broker 还负责管理消息的分区和副本，确保数据的高可用性和容错性。
消息中间件：Broker 消息代理软件实体 运行在服务器端
程序员光剑
09-22 1485
Broker 是一种消息中间件软件，它负责接收、处理、分发应用程序之间的消息。消息代理是支持多种协议（例如 AMQP、MQTT、STOMP）的通用消息传递组件。根据 Wikipedia 的定义，“消息代理是一个独立于发送方和接收方的网络服务，用于中转或路由消息。它通常被设计成运行在远程服务器上，并充当消息队列或中间人角色”。与其他消息队列系统不同的是，消息代理在消息的发送方和接收方之间提供了一个中介层。
Kafka系统架构（ Broker，Topic， Partition，Replication）
XIATWO
11-30 5274
Kafka系统架构 一、Broker 服务器节点 概念 Kafka 集群包含一个或多个服务器，服务器节点称为broker 描述 就是Kafka集群replication的名称 二、Topic 主题|消息类别 概念 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic 描述 1、在Kafka 中一张表就是一个主题 2、类：table index 3、将来会根据业务的不同创建不同的主题 4、创建流程：首先创建主题，然后选择 Partition和Replication 说
Git 基础教程 - 分支操作、合并分支、解决冲突
smart_an的专栏
05-12 375
作者简介：大家好，我是哥，前中兴通讯、美团架构师，现某互联网公司联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！
Apache Kafka 基本介绍.zip
03-26
Apache Kafka 是一个分布式流处理平台，由LinkedIn 开发并贡献给了Apache 软件基金会，现在已经成为大数据领域的重要组件。...了解和掌握Kafka 的基本概念和特性，对于构建高效的数据处理系统至关重要。
Kafka架构和原理
03-01
生产者（Producer）:消息和数据生产者代理（Broker）:缓存代理，Kafka的核心功能消费者（Consumer）:消息和数据消费者整体架构很简单，Kafka给Producer和Consumer提供注册的接口，数据从Producer发送到Broker，...
消息队列（MQ）-------- Kafka
记忆的博客
07-21 399
消息队列MQ Kafka一、消息队列（MQ）1.消息简介2.消息队列的作用3.MQ 中间件4.消息队列的优点5.消息队列的两种模式5.1 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）5.2 发布/订阅模式（一对多，又叫观察者模式，消费者消费数据之后不会清除消息）二、Kafka1.Kafka 定义2.Kafka 简介3.Kafka 的特性三、Kafka 系统架构1.Broker2.Topic3.Partition1.Partation 数据路由规则2.分区的原因4.Leader5.Fo..
【Kafka】服务器Broker与Controller详解
qq_43745578的博客
01-30 2060
Kafka服务器Broker与Controller详解
浅谈如何自我实现一个消息队列服务器(7）——编写服务器部分
m0_63191002的博客
05-10 1069
再次拿出这张图，前面我们已经将重要概念：VirtualHost、exchange、msgQueue、message、binding 都实现了，此时就可以开始编写消息队列MQ的本体：BrokerServer (服务器)，由于消息队列的服务器是一个基于 TCP 协议进行通信的服务器，因此消息队列的 BrokerServer 也叫做 TCP服务器。构造响应对象，设置好响应对象中的值，然后打印 rid、channelId、响应 type、响应 length。方便后续判断当前是哪个连接，连接中的哪一对请求、响应。
RocketMQ系列1——基础角色介绍
xiaodigua1024的博客
03-27 782
RocketMQ是一个消息中间件，具有高性能、高可靠、高实时、分布式的特点。RocketMQ 技术架构中有四大角色 NameServer 、 Broker 、 Producer 、 Consumer。其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息，NameServer作为注册中心。
CentOS服务器上部署mqtt
weixin_34259559的博客
02-26 594
2019独角兽企业重金招聘Python工程师标准>>> ...
【夯实Kafka知识体系及基本功】分析一下（Broker）服务的可靠性机制分析「原理篇」
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-17 893
Kafka 为每个 Partition 维护了一个 AR（Assigned Replicas）列表，由 ISR（In-Sync Replicas，与 Leader 数据同步的 Replica）和OSR（Outof-Sync Replicas，与 Leader 数据不同步的 Replica）组成。
apache kafka系列之broker内部架构
李志涛的专栏
08-03 6295
下面介绍kafka高级特性，让您更好地学习并理解kafka源代码he
kafka server/broker 服务端的参数配置说明
请叫我大师兄
09-28 4054
一、Kafka概述 关于Kafka，我们在之前的文章里也介绍，简而言之Kafka是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有时还可以当做存储系统来用。Kafka的设计遵循生产者消费者模式，其中生产者和消费者都属于客户端，服务端则是由多个broker实例组成，broker主要负责接收和处理来自客户端的请求，以及对消息进行持久化。基本架构如下： 二、broker端核心参数 1. broker.id 参数说明：broker的唯一标识id，默认值为-1，如果不指定Kafka
Kafka——Broker与客户端通信网络模型
qq_39098853的博客
03-20 427
kafka服务端网络模型
kafka-server
qq_36483100的博客
03-01 296
kafka学习笔记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值