Kafka--02---架构模型，角色功能梳理

已于 2023-12-12 23:10:47 修改
阅读量2.7k 收藏
点赞数
分类专栏： MQ消息队列 文章标签： kafka 架构 中间件
于 2021-12-13 20:54:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48052161/article/details/121894669
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

Kafka 设计

在这里插入图片描述

Kafka 关注的问题:

Kafka 作为分布式中间件所关注的问题

  • 性能问题
  • 单点问题

AKF

在这里插入图片描述

X 轴:

业务划分 -----topic 主题

Y 轴:

追求效率,并发并行 分片-----Partition：分区

Z 轴:

高可用-----Replica：副本

在这里插入图片描述

业务划分

在这里插入图片描述
在这里插入图片描述

Kafka—架构模型

在这里插入图片描述

一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

在这里插入图片描述

offset

在这里插入图片描述

元数据区 和 topic 自己维护的 offset 持久化

在这里插入图片描述

知行合一。。。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka初始，架构模型，角色功能梳理
qq_43409811的博客
01-23 3118
[root@hadoop1 kafka]# kafka-topics.sh --zookeeper node3:2181,node4:2181 --create --replica-assignment 3 --partition 2 --topic ooxx Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option at joptsimple.Optio.
kafka-1.kafka初始，架构模型，角色功能梳理
飘然渡沧海的博客
02-27 1058
kafka
Kafka 实战开篇-讲解架构模型、基础概念以及集群搭建
vnjohn 博主 > 主线分享后端领域业务设计知识、源码思想、架构设计
04-01 4127
该博文作为专栏【Kafka】第一篇，为大家了整理了各大消息中间件之间的特性以及优劣势，结合 AKF 划分原则对 Kafka 集群、Topic、Partition 作了划分；通过自身理解的【架构模型】为大家提前梳理清楚一些概念以及问题，在 Kafka 中存在的角色作了一些概述；最后，以实践校验真理的唯一准则，搭建了 Kafka 集群以及通过控制台方式整理了一些常用命令以及对前面所描述的一些问题作了验证操作！
Kafka--Kafka日志索引详解以及生产常见问题分析与总结
weixin_43874650的博客
12-20 1867
​ Kafka的设计重点是在网络不稳定，服务也不稳定的复杂分布式环境下，如何保持高性能，高可用，高可扩展的三高架构。在这方面，Kafka的设计是很复杂也很完善的，是业内公认的老大哥。因此网上的解读文章也是最多的。但是这些解读的文章如果没有一条主线串起来，那永远都只是一些零散的，过目既忘的东西。​ 在这几期的课程中，一直在尝试以可见的方式去深入理解Kafka的各种主要设计思想。内容非常多，节奏也非常紧凑，但是梳理出了客户端、Zookeeper数据、Log日志三条可以看得见的数据主线。
一，kafka 伊始，架构模型，角色功能梳理
阿昊的博客
08-07 598
kafka what why how AKF broker ,producer ,consumer,offset
kafka 串讲：架构模型、角色功能梳理
热门推荐
寒泉
04-24 6万+
kafka 串讲：架构模型、角色功能梳理 kafka 的 what why how，先有一个粗略宏观的理解 rabbitmq、各种 mq 的技术选型、横向对比 首先，kafka 是一个消息中间件。我们从一个本质的点聊起，我们有一个系统 service，如果这两个服务之间直接调用的话，它们之间会相互约束，耦合性比较强，而且未来的拓展不好，一方有调整的时候，另一方会受到影响。 这时候我们加入一个消息系统，一方发送消息，另一方去取，就起到了我们所谓的消峰填谷以及解耦的效果。 现在我们聊的是消息的中间件，其实中间
02-点餐SaaS架构方案
MYjingyx的博客
11-22 1138
近年来，随着科技的迅速发展和互联网的普及，线上点餐成为了一个蓬勃发展的行业。然而，在目前的美国市场上，线上点餐业务相对较少。为了在这个市场上打开局面，我们决定推出一款全新的点餐软件—diancan。Java语言是一种广泛使用的编程语言，以其跨平台性、安全性和稳定性而闻名。通过使用Java语言，我们将能够更好地处理用户的请求、提升系统的并发访问能力，并且能够更方便地与其他系统对接。不仅如此，Java语言还拥有丰富的开发工具和强大的社区支持，可以为我们带来更多的开发便利和技术支持。
彻底掌握ShardingSphere-jdbc：实战指南与技巧解析
m0_65038841的博客
05-28 1187
分片算法和阿里开源的数据库中间件 cobar 路由算法非常类似的。假设现在需要将订单表平均拆分到 4 个分库 shard0 ，shard1 ，shard2 ，shard3。首先将 [0-1023] 平均分为 4 个区段：[0-255]，[256-511]，[512-767]，[768-1023]，然后对字符串（或子串，由用户自定义）做 hash， hash 结果对 1024 取模，最终得出的结果slot落入哪个区段，便路由到哪个分库。
面试知识点梳理及相关面试题（十）-- rabbitmq
weixin_39724194的博客
02-02 1335
Producer： 消息生产者，就是投递消息的程序Connection：producer／consumer 和 broker 之间的 TCP 连接。Channel信道：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection 的开销将是巨大的，效率也较低。
大数据-面试题-英文-网络收集
03-11
### 大数据基础概念 - **什么是大数据**：大数据指的是那些规模庞大且复杂的数据集，传统的数据处理...此外，了解如Apache Kafka这样的流处理平台和CAP定理等理论背景也有助于深入理解大数据处理系统的架构设计原则。
Java-Study:Java知识点总结
05-09
Java-Study仓库是一个全面梳理Java后端开发中关键知识点的资源集合，涵盖了性能优化、Elasticsearch搜索引擎的使用、处理高并发场景的技术、分布式系统的设计以及网络安全等多个领域。以下是这些主题的详细阐述： 1...
JAVA核心知识点整理-最新版本
11-17
微服务是现代软件架构的重要组成部分，Spring框架作为Java中的主流框架，提供了依赖注入、AOP（面向切面编程）、数据访问、Web服务等丰富的功能。Spring Boot简化了Spring的配置，Spring Cloud则提供了实现微服务的...
HCDE438-Cheatsheets:HCDE 438 2020年夏季备忘单
04-01
- 数据仓库与数据湖：比较两种数据存储架构，理解其应用场景和优缺点。 2. 数据处理与分析: - SQL查询语言：掌握基本的SELECT语句，JOIN操作，子查询以及窗口函数的使用。 - 数据预处理：理解缺失值处理、异常值...
5.快手元数据平台化建设及应用场景-薛言.pdf
11-05
在快手这样的大数据环境中，元数据扮演着至关重要的角色。它帮助组织和管理海量数据资产，提供数据血缘关系的追踪，支持数据治理，维护数据口径的一致性，以及保护数据隐私安全。 在快手元数据平台化建设的背景下，...
Kafka主题（Topic/文件夹）的操作
qq_46112274的博客
08-17 484
Kafka主题（Topic/文件夹）的操作
ActiveMQ、RabbitMQ、Kafka、RocketMQ在事务性消息、性能、高可用和容错、定时消息、负载均衡、刷盘策略的区别
猪猪
08-16 798
ActiveMQ、RabbitMQ、Kafka、RocketMQ这四种消息队列在事务性消息、性能、高可用和容错、定时消息、负载均衡、刷盘策略等方面各有其特点和差异。
每日一问：如何解决kafka的消息丢失与堆积问题
最新发布
upgrador的博客
08-17 233
消息堆积通常发生在生产者生产消息的速度远远超过消费者消费消息的速度，或者由于消费者处理能力不足、出现故障等原因导致的消息积压。在Kafka中，消息丢失可能会发生在生产者、消费者或者Broker的不同阶段。通过上述手段，可以有效解决Kafka中的消息丢失和堆积问题，保证系统的稳定性和可靠性。
windows下php安装kafka
hutaoo的博客
08-14 1132
Kafka 依赖 Zookeeper 进行分布式协调，所以需要下载Zookeeper ，当然。这里我们单独下载一个。
大数据云：探索数据交换共享平台的架构与云化趋势
这份名为“【精品】大数据云的数据交换共享平台的架构探索z0115.pptx”的文件深入探讨了近十年来数据分析技术的发展历程，从基础框架到前沿工具，都进行了详细的梳理。 首先，新一代的大数据技术软件栈涵盖了高效的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值