Kafka
文章平均质量分 51
Kafka相关理论和实践
白日梦想东
这个作者很懒,什么都没留下…
展开
-
Kafka中主题分区副本简介
Kafka中主题分区副本简介1.主题(Topic)Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。2.分区(Partition)主题是一个逻辑上的概念,它还可以细分为多个分区,一个分区只属于单个主题,很多时候也会把分区称为主题分区(Topic-Partition)。同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作一个可追加的日志(Log)文件,消息在被追加到分区日志文件的时原创 2021-11-12 09:25:36 · 1384 阅读 · 0 评论 -
Kafka中的基本体系
Kafka基本体系Kafka体系架构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4sAIlx2Q-1636535850032)(C:\Users\Administrator\Downloads\kafka基本架构图.png)]一个典型的 Kafka 体系架构包括若干 Producer、若干Broker、若干 Consumer,以及一个ZooKeeper集群。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送原创 2021-11-10 17:17:49 · 1659 阅读 · 0 评论 -
Kafka概述
Kafka概述Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。Zookeeper在Kafka中扮演的角色,进行Kafka元数据的管理及Kafka Controller的选举工作。Kafka 2.8.0版本之后已移除对Zookeeper的依赖,由kafka自身进行。目前Kafka已经被定位成一个分布式流式处理系统平台,特点:高吞吐丶可持久化丶可水平拓展丶支持流处理等多种特性。支持与各种流式计算框架集成,Spark,Flink原创 2021-11-10 17:17:17 · 2358 阅读 · 1 评论