Kafka大白话(●三●)

Jodie大白话

已于 2022-10-14 08:50:35 修改

阅读量483

点赞数

分类专栏：大数据文章标签： kafka 分布式

于 2022-10-13 18:51:45 首次发布

本文链接：https://blog.csdn.net/qq_41847894/article/details/127306711

版权

大数据专栏收录该内容

14 篇文章 0 订阅

订阅专栏

💟这里是CS大白话专场，让枯燥的学习变得有趣！

💟没有对象不要怕，我们new一个出来，每天对ta说不尽情话！

💟好记性不如烂键盘，自己总结不如收藏别人！

🧡分区分配策略

💌若有10个分区，3个消费者，不同的分配策略结果如下：

🍠Range

consumer1：0 1 2 3

consumer2：4 5 6

consumer3：7 8 9

🍠Roundrobin（轮询）

consumer1：0 3 6 9

consumer2：1 4 7

consumer3：2 5 8

🍠Sticky（粘性）

consumer1：0 3 7 8

consumer2：2 6 9

consumer3：1 4 5

🧡再平衡

💌如果consumer1挂了，再平衡的结果如下：

🍠Range

consumer1：×

consumer2：0 1 2 3 4 5 6

consumer3：7 8 9

🍠Roundrobin（轮询）

consumer1：×

consumer2：1 4 7 0 6

consumer3：2 5 8 3 9

🍠Sticky（粘性）

consumer1：×

consumer2：2 6 9 0 3

consumer3：1 4 5 7 8

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jodie大白话

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Kafka大白话(●三●)

🧡分区分配策略🧡再平衡
复制链接

扫一扫

专栏目录

大白话 kafka 架构原理

Felix

03-12

2286

大数据时代来临，如果你还不知道Kafka那就真的out了！据统计，有三分之一的世界财富500强企业正在使用Kafka，包括所有TOP10旅游公司，7家TOP10银行，8家TOP10保险公司，9家TOP10电信公司等等。LinkedIn、Microsoft和Netflix每天都用Kafka处理万亿级的信息。本文就让我们一起来大白话kafka的架构原理。 kafka官网：http://ka...

大白话教你认识Kafka

01-20

一、Kafka基础消息系统的作用应该大部分小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，...

参与评论您还未登录，请先登录后发表或查看评论

Kafka大白话(●—●)

qq_41847894的博客

09-20

546

🧡生产者原理🧡 异步发送🧡回调异步发送🧡同步发送

Kafka大白话(●五●)

qq_41847894的博客

10-15

741

🧡生产者调优🧡Broker调优🧡消费者调优

Kafka大白话(●二●)

qq_41847894的博客

09-20

568

🧡ACK应答🧡数据可靠性🧡数据重复🧡事务原理🧡数据有序

Kafka大白话(●四●)

qq_41847894的博客

10-14

651

🧡Broker副本🧡Leader选举🧡Follower故障🧡Leader故障🧡Broker分区副本分配 Leader Partition自动平衡

Redis大白话(●三●)

qq_41847894的博客

10-24

905

🧡Redis实现消息队列 lpush&rpop / rpush&lpop pub&sub（发布订阅） stream🧡Kafka实现消息队列

大白话带你认识Kafka

Java码农那些事

07-11

177

一、Kafka基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子创作不易，如果有一丢丢收获，点个赞鼓励一下吧！整理了一份覆盖一线大厂Java面试题总结+各知识点学习思维导+一份300页pdf文档的Java核心知识点总结！，有需要的小伙伴们可以扫一下文末的图片所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户

入门篇！大白话带你认识 Kafka！

spring_root的博客

02-24

380

今天我们来聊聊 Kafka ，主要是带你重新认识一下 Kafka，聊一下 Kafka 中比较重要的概念和问题。在后面的文章中我会介绍： Kafka 的一些高级特性比如工作流程。使用 Docker 安装 Kafka 并简单使用其发送和消费消息。 Spring Boot 程序如何使用 Kafka 作为消息队列。我们现在经常提到 Kafka 的时候就已经默认它是一个非常优秀的消息队列了，我们也...

大白话图解kafka

疯一样的女子

12-11

132

前言应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。一、Kafka基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设...

大白话带你认识 Kafka

weixin_42073629的博客

04-27

101

一、Kafka 基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存，且仅仅是起到了缓存的作用而并不是真正的缓存，数据仍然是存储在磁盘上面而不是内存。 1.Topic 主题

kafka kafka kafka kafka kafka

12-18

Kafka 的架构主要由三个部分组成：Producer、Consumer 和 Broker。 * Producer：消息生产者，负责将消息发送到 Kafka 集群。 * Consumer：消息消费者，负责从 Kafka 集群中拉取消息。每个 Consumer 属于一个特定的 ...

kafka-3.5.1

09-27

开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...

华为kafka.zip

11-20

Kafka的工作原理主要包括生产者、消费者和 broker 三部分。生产者负责将数据发布到主题（topics）中，消费者则订阅并消费这些主题的数据。Broker是Kafka集群中的节点，它们接收和存储生产者发送的消息，并向消费者...

1 入门篇！大白话带你认识 Kafka

01-07

今天我们来聊聊 Kafka ，主要是带你重新认识一下 Kafka，聊一下 Kafka 中比较重要的概念和问题。在后面的文章中我会介绍： Kafka 的一些高级特性比如工作流程。使用 Docker 安装 Kafka 并简单使用其发送和消费消息...

kafka架构+原理+源码

JavaCoder_juejue的博客

07-21

1412

1.kafka架构图 2.kafka producer

Kafka

最新发布

Casual_Lei的博客

07-25

1351

Kafka 是一个强大的分布式消息系统，具备高吞吐量、低延迟、高可靠性和扩展性。了解 Kafka 的底层架构和工作原理，有助于在实际应用中优化性能、实现数据流处理和解决复杂的消息传递需求。希望这篇博客能够帮助你更深入地理解 Kafka 的核心概念和实现细节。如果你有任何问题或想法，欢迎在评论区讨论！

Kafka知识总结（基本介绍+基本概念）

月伴飞鱼

07-24

1274

通过异步处理提高系统性能（减少响应所需时间）削峰/限流降低系统耦合性。

Apollo使用（3）：分布式docker部署

游王子的博客

07-24

727

Apollo 1.7.0版本开始会默认上传Docker镜像到，可以按照如下步骤获取。

kafka分布式集群

11-21

Kafka是一个分布式的发布订阅消息队列系统，它可以在多个服务器上运行，这些服务器可以跨越多个机房。Kafka集群将记录流存储在称为Topic的类别中，每个Topic可以分为多个Partition，每个Partition又可以分为多个Segment。每条记录由键值；"key value"和一个时间戳组成。Kafka的核心组件包括Producer、Consumer、Broker、Topic、Partition、Offset等。要搭建一个Kafka分布式集群，需要进行以下步骤： 1.安装Java环境和Kafka软件包。 2.配置Kafka集群的Zookeeper地址，Zookeeper是Kafka集群的协调者，用于管理Broker的状态和Partition的分配。 3.配置Kafka Broker的服务器.properties文件，包括Broker的ID、监听端口、日志目录、Zookeeper地址等。 4.启动Zookeeper集群。 5.启动Kafka Broker集群，可以使用命令行或者脚本启动。 6.创建Topic，可以使用kafka-topics.sh脚本创建。 7.发送消息到Topic，可以使用kafka-console-producer.sh脚本发送消息。 8.消费消息，可以使用kafka-console-consumer.sh脚本消费消息。 9.监控Kafka集群的状态，可以使用kafka-topics.sh、kafka-consumer-groups.sh等脚本进行监控。