kafka架构内部细节剖析

最新推荐文章于 2024-07-02 23:49:23 发布
最新推荐文章于 2024-07-02 23:49:23 发布
阅读量178 收藏
点赞数
分类专栏： 队列 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38483094/article/details/106276226
版权
Kafka是一个分布式消息系统，其内部架构包括支持消息持久化的Broker、逻辑主题Topic、物理分区Partition和消费者Consumer Group。每个Topic可划分为多个Partition，每个Partition由.log数据文件和.index索引文件组成，实现高效查询。Producer负责发布消息到Broker，Consumer则从Broker拉取并消费消息，消费状态和订阅关系由客户端维护。Consumer Group允许多订阅，消息仅存储一份。
摘要由CSDN通过智能技术生成

说明：kafka支持消息持久化，消费端为拉模型来拉取数据，消费状态和订阅关系有客户端负责维护，消息消费完 后，不会立即删除，会保留历史消息。因此支持多订阅时，消息只会存储一份就可以了。

 

Broker：kafka集群中包含一个或者多个服务实例，这种服务实例被称为Broker

Topic：每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic

Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition

segment：一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件，其中.index文件是索引文件，主要用于快速查询.log文件当中数据的偏移量位置

Producer：负责发布消息到ka

最低0.47元/天 解锁文章
MnerX
关注
专栏目录
Kafka>kafka的架构介绍及内部细节剖析
qq_44509920的博客
04-05 236
文章目录1、kafka的架构介绍2、kafka架构内部细节剖析 1、kafka的架构介绍 宏观上，Kafka的架构包含四大部分 1、生产者API 允许应用程序发布记录流至一个或者多个kafka的主题（topics）。 2、消费者API 允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。 3、StreamsAPI 允许应用程序充当流处理器（stream processor），从一个...
一、kafka简介
jenyzhang的专栏
07-10 2145
转自：http://news.watchstor.com/news-161695.htm 1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借
图解 Kafka 架构
最新发布
面向生活编程
07-02 1950
Kafka 是一个可横向扩展，高可靠的实时消息中间件，常用于服务解耦、流量削峰。
Kafka内部结构
xiaomu_a的博客
04-11 777
鄙人愚钝，在经历了三天两夜，我终于是搞懂了这Kafka的内部结构，之前看很多文章都是不清晰，脑海中始终没有一个清晰的构图… 1. Kafka简介 Apache Kafka最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始，Kafka的标语已经从“一个高吞吐量，分布式的消息系统...
Kafka 入门介绍【一遍了解Kafka内部构造】
weixin_46014985的博客
07-30 147
概念 Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中所有动作流数据。即Kafka是一个分布式的、可分区的、可复制的消息系统。 Kafka将消息以topic为单位进行归纳 将向Kafka topic发布消息的程序为priducers. 将预定topic并消费信息的程序称为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如图： Topics 和Log
kafka的架构
大黄_sama
07-02 676
一、架构图Broker：一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。Producer：消息生产者，就是向 kafka broker 发消息的客户端Consumer：消息消费者，向 kafka broker 取消息的客户端。Topic：可以理解为一个队列，一个 Topic 又分为一个或多个分区。
搞透 Kafka 的存储架构，看这篇就够了
weixin_70730532的博客
06-14 1073
今天聊聊 Kafka 的存储系统架构设计。说到存储系统，大家可能对 MySQL 比较熟悉，也知道 MySQL 是基于 B+ 树来作为它的索引数据结构。Kafka 又是基于什么机制来存储？为什么要设计成这样？它解决了什么问题？又是如何解决的？里面又用到了哪些高大上的技术？带着这些疑问，我们就来和你聊一聊 Kafka 存储架构设计背后的深度思考和实现原理。认真读完这篇文章，相信你会对 Kafka 存储架构有更加深刻的理解，也能有思路来触类旁通其他存储系统的架构。 1 Kafka 存储场景剖析在讲解 Kafka
Kafka 架构、核心机制和场景解读
Java_zhujia的博客
12-14 677
Kafka 是一款非常优秀的开源消息引擎，以消息吞吐量高、可动态扩容、可持久化存储、高可用的特性，以及完善的文档和社区支持成为目前最流行的消息队列中间件。Kafka 的开发社区一直非常活跃，在消息引擎的领域取的不俗成绩之后，不断拓展自己的领域，在基于事件的流处理平台方向一直发力，不断自我更新迭代力图成为这个领域内的事实标准。
kafka-cn-notes：kafka2.7源码阅读分析中文注释
02-25
1. **Kafka架构** Kafka采用分布式架构，由Broker（代理）、Producer（生产者）、Consumer（消费者）和Topic（主题）等核心组件构成。每个Broker存储一部分Topic的数据，Producer将消息发送到Topic，Consumer则从...
Kafka(1)-概述
weixin_30535913的博客
01-04 186
一. 内部原理 1. 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。 2. 发布/订阅模式（一对多） 发布订阅模型则是另一个消息传送模型。发布订阅模型可以有多种不同的订阅者，...
kafka内部结构笔记
weixin_33939843的博客
09-01 93
集群架构 搭建一套测试集群，共三个节点，每个节点上面都有procuder/broker/consumer角色。没有WebUI页面，架构如下： kafka架构 在系统架构中，将消息系统独立可起到架构解耦、易扩展、灵活性强、可恢复、数据冗余、异步通讯等优点。 kafka是分布式消息系统软件，实现了消息发布/订阅功能。还有一些其他的消息队列软件，比如RabbitMQ、Redis、ZeroMQ...
Kafka体系架构详细分解
Java搜索工程技术栈
06-13 2238
Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称为主题分区（Topic-Partit
Kafka基础-内部原理
煉心的博客
08-21 1306
理解Kafka的内部原理可以有助于故障的排除，因此本文会着重介绍以下三个部分： Kafka复制的工作原理 Kafka是怎样处理生产者和消费者的请求 Kafka是怎样储存数据，例如文件格式和索引 1. 集群成员 Kafka使用Apache Zookeeper来维护当前集群的成员列表，每个broker都有一个唯一的标识，该标识可以在broker的配置文件设置或者自动生成。每次broker进程启...
kafka内部设计解读
zhanglehes的专栏
03-04 2243
概要 本文主要介绍一些kafka内部原理概念，包括controller，Coordinator，patition，storage，produce和consume。 Patitions Patition是kafka实际的存储单元，topic只是Patition的一个逻辑集合。Patition分为leader和followers，它们是由controller进行的分配。Patition又分为isr（in-sync replica）和osr（out-sync replica）；isr是表示leader
Kafka的体系结构
张姐姐聊编程
01-14 1638
Kafka一开始是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。现已捐献给Apache基金会。目前的定位是：Kafka是一个分布式流式处理平台。具有高吞吐、可持久化、可水平扩展、支持流数据处理的特点。
Kafka消费者从Kafka中读取数据
ThreeAspects的博客
06-03 1554
  使用KafkaConsumer订阅主题，然后接收这些主题的消息。Kafka消费者是消费组的一部分，当多个消费者形成一个消费组来消费主题时，每个消费者会收到不同分区的消息。 消费组与分区重平衡   当新的消费者加入消费组，它会消费一个或多个分区，而这些分区之前是由其他消费者负责的；另外，当消费者离开消费组（比如重启、宕机等）时，它所消费的分区会分配给其他分区。这种现象称为重平衡（rebalance）。   消费者通过定期发送心跳（hearbeat）到一个作为组协调者（group coordinator）的
Kafka学习(二)：Kafka的基本结构和概念
热门推荐
Java面试辅导-海龟老师
03-15 1万+
一.Kafka的逻辑架构   注：        当一个Topic中消息过多时，会对Topic进行分区处理，把消息分到不同的Partition中。    为什么要分区：        是为了对大量的数据进行分而治之，把数据分区，不同的Consumer可以消费不同分区的数据，不同Consumer对数据的消费可以做成并行的，这样可以加快数据处理的速
kafka的代码分析
04-16
1. 了解Kafka的基本概念和架构：在进行代码分析之前，首先需要了解Kafka的基本概念，例如topic、partition、producer、consumer等，以及Kafka的整体架构和工作原理。 2. 下载和构建Kafka源代码：从Kafka官方网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值