Kafka学习（四）：Kafka架构详解

最新推荐文章于 2024-08-23 09:19:45 发布
最新推荐文章于 2024-08-23 09:19:45 发布
阅读量1.4k 收藏
点赞数
分类专栏： # 【大数据】Kafka 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzc8961661/article/details/104955141
版权
本文详细介绍了Kafka的架构，包括生产者API、消费者API、Streams API和Connect API，揭示了Kafka如何作为流处理器连接应用程序和数据系统。此外，还剖析了Kafka的内部细节，如消费者组、消息存储与复制机制，以及Topic和Partition的概念，帮助读者深入理解Kafka的工作原理。
摘要由CSDN通过智能技术生成

学习目标

kafka架构介绍

在这里插入图片描述
1、生产者 API

  • 允许应用程序发布记录流至一个或者多个kafka的主题 topics（生产数据到topic）。

2、消费者 API

  • 允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流（读取数据，消费数目）。

3、StreamsAPI

  • 允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或 者多个主题，能够有效的变化输入流为输出流。（把kafka 主题连接到现有的应用程序或数据系统）

4、ConnectAPI

  • 允许构建和运行可重用的生产者或者消费者，能够把kafka主题连接到现有的应用程序或数据系统。例如：一个计算数字的原始数据队列，经过不同的应用程序，生成最终的目标数据队列（应用充当处理器）
  • 如何理解应用充当处理器？（如下图）
    在这里插入图片描述

kafka架构内部细节剖析

在这里插入图片描述

在这里插入图片描述

说明

kafka支持消息持久化，消费端为拉模型来拉取数据，消费状态和订阅关系有客户端负责维护，消息消费完后，不会立即删除，会保留历史消息。因此支持多订阅时，消息只会存储一份就可以了。

kafka消息保留在磁盘上，并在集群内复制以防止数据丢失（不能提高数据的读取效率）。

Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定 groupName）

Broker：kafka集群中包含一个或者多个服务实例

Topic：每条发布到kafka集群的消息都有一个类别，分类

Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition

segment：一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件，其中:

.index文件是索引文件，主要用于快速查询.log文件当中数据的偏移量位置
.log存放数据文件

在这里插入图片描述

老王的小知识
关注
专栏目录
S4HanaConnector:卡夫卡SAP S4Hana数据的生产者
03-30
RTDI大数据S4HanaConnector 捕获ERP系统中的更改并将其发送给Kafka 此处提供源代码： 安装与测试 在任何计算机上安装Docker Daemon-如果尚未安装-并使用以下命令下载此Docker映像 docker pull rtdi/s4hanaconnector 然后通过docker run启动映像。 为了快速测试，此命令就足够了 docker run -d -p 80:8080 --rm --name s4hanaconnector rtdi/s4hanaconnector 在运行容器的主机上的端口80处公开Web服务器。 确保通过http前缀打开网页，因为https需要更多配置。 例如， 可能会把容器托管在同一台计算机上。 此启动方法的默认登录名是： rtdi / rtdi！io 可能更好的启动命令是将两个主机目录装载到容器中。 在此示例中，主机的/
Kafka学习之路 （二）Kafka的架构
tby6686的专栏
11-25 706
一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到b
推荐文章：探索数据流动的桥梁 —— Kafka Connect for SAP
最新发布
gitblog_00407的博客
08-23 416
推荐文章：探索数据流动的桥梁 —— Kafka Connect for SAP kafka-connect-sapKafka Connect SAP is a set of connectors, using the Apache Kafka Connect framework for reliably connecting Kafka with SAP systems项目地址:https://...
Kafka架构原理(超级详细)
互联网知识分享
05-11 2269
许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。（1）每一个分区都是多个分段构成，每个LogSegment分段，包括了'一个'数据文件和'一个'索引文件, 它们的文件名都是以某一个连续范围的区间ofset进行命名，且文件名是以最小的ofset进行命名。为了进一步提高查找的效率，Kafka为每个分段后的数据文件建立了索引文件，文件名与数据文件的名字是一样的，只是文件扩展名为.index。
Kafka 的简介与架构
致力于不留技术债务cuizb.top
03-02 1965
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。它可以作为消息系统和日志收集系统使用。
一文带你搞懂 Kafka 的系统架构（深度好文，值得收藏）
weixin_43958974的博客
01-23 1万+
简单明了，看不懂来打我～
kafka学习笔记：知识点整理.docx
08-11
Kafka架构 - **Producer**：发布消息到Kafka集群的应用。 - **Broker**：集群中的服务器节点。 - **Topic**：消息的分类，每个消息都有所属的Topic。 - **Partition**：物理概念，每个Topic包含一个或多个分区，...
Kafka技术内幕：图文详解Kafka源码设计与实现
01-23
1. **Kafka架构**：Kafka集群由 brokers（节点）、producers（生产者）、consumers（消费者）和topics（主题）组成。生产者负责发布消息到主题，消费者则订阅并消费这些消息。brokers存储主题的数据，并负责消息的...
Kafka技术内幕：图文详解Kafka源码设计与实现 高清带书签
12-02
2. **Kafka架构**：Kafka由Brokers、Producers、Consumers、Topics和Partitions组成。Brokers是Kafka集群的节点，负责存储和转发消息；Producers负责生产消息；Consumers消费消息；Topics是逻辑上的分类，而...
Kafka技术内幕：图文详解Kafka源码设计与实现.郑奇煌
03-13
2. **Kafka架构**：Kafka集群由Brokers、Producers、Consumers和Topics四个主要部分组成。Brokers是服务器节点，存储和转发消息；Producers是生产者，负责发送消息到Topic；Consumers是消费者，订阅Topic并消费消息...
kafka基础架构及核心知识
qq_33265875的博客
12-04 2195
kfka基础架构及核心知识目录一、kfka介绍以及说明1.kfka介绍以及名字由来2..kfka数据存储3.kafka高效的原因4.kafka的特点二、kafka集群的安装与部署三、kafka的核心组成1.Broker2.Topic3.Partition4.Offset5.持久化6.副本机制7.Producer8.Consumer9.Consumer Group四、shell客户端操作kafka五...
kafka的架构
大黄_sama
07-02 786
一、架构图Broker：一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。Producer：消息生产者，就是向 kafka broker 发消息的客户端Consumer：消息消费者，向 kafka broker 取消息的客户端。Topic：可以理解为一个队列，一个 Topic 又分为一个或多个分区。
图解 Kafka 架构
面向生活编程
07-02 2033
Kafka 是一个可横向扩展，高可靠的实时消息中间件，常用于服务解耦、流量削峰。
Kafka的基本概念和架构
qq_44749491的博客
04-02 3519
Kafka是一个开源的分布式事件流平台 （），被广泛用于高性能数据管道、流分析、数据集成和关键任务应用。
Apache Kafka & SAP
04-20 4362
原文：https://www.kai-waehner.de/blog/2019/11/22/apache-kafka-automotive-industry-industrial-iot-iiot/ 最近项目关系了解到了Kafka，一下被这个神奇的物种折服，我代表着无限，随时在线并且连通万物。所以必须要进一步了解它，欢迎同道的朋友一起讨论学习。 Event Streaming事件流 参考： https://www.jianshu.com/p/f13844f815f0 https://www.jians.
kafka的安装和启动
Ez4Sterben的博客
04-04 6224
一、kafka介绍 1，kafka简单介绍 kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。 2，kafka使用场景 1，日志收集：可以用kafka收集各种服务的日志 ，通过已统一接口的形式开放给各种消费者。 2，消息系统：解耦生产和消费者，缓存消息。 3，用户活动追踪：kafka可以记录webapp或app用户的各种活动，如浏览网页，点击等活动，这些活动可以发送到kafka，然后订阅者通过订阅这些消息来做监控。 4，运营
Kafka 设计架构原理详细解析（超详细图解）
热门推荐
July的博客
12-06 1万+
什么是Kafka？ Apache Kafka是一个开放源代码的分布式事件流平台，成千上万的公司使用它来实现高性 能数据管道，流分析，数据集成和关键任务等相关的应用程序。 Kafka的应用场景 构造实时流数据管道，它可以在系统或应用之间可靠地获取数据 (相当于message queue)，特别是在集群情况下，多个服务器需要建立交流 构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是流处理，通过kafka stream topic和topic之间内部进行变化) Kafka架构设计 Produce
sap hana实时同步方案调研
张顶飞的博客
10-18 4642
hana数据库实时同步目前接触到有两种方式，一种是通过kafka connector的方式，定时全量或增量的拉取数据发送到kafka，这算是一种伪实时的方式；还有一种hana本身支持cdc，但是像Debezium这种实时增量同步工具并没有提供对应的connectors，通过查阅hana官方文档，目前好像只能在sap系统基础上通过graph编程的方式来搞，他是一种可视化的组件开发方式，目前暂无sap环境，打不开这个可视化的graph编程页面，不好尝试。官方文档中所描述的sap的cdc，是基于触发器实现的。
Kafka入门详解：配置、架构与Java应用演示
本文档将对Kafka的基本概念、配置、系统架构以及实际操作进行简要介绍。 **1. Kafka简介** Kafka最初由LinkedIn公司开发，后归入Apache项目，其核心特点是高吞吐量、持久化、分布式和可扩展性。Kafka支持每秒生产...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值