![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 88
爱琴孩
扫盲+科普+解惑,愿天下程序员每天少掉头发
展开
-
Kafka架构设计剖析
架构Kafka 将 Topic 进行分区,分区可以并发读写。转载 2024-03-17 22:25:53 · 37 阅读 · 0 评论 -
深入了解Kafka的文件存储原理
Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类,发送消息者称为Producer;消息接受者称为Consumer;此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。原创 2024-03-02 22:23:55 · 1323 阅读 · 0 评论 -
Kafka架构和工作原理
分区是 Kafka 读写数据的最小粒度,比如主题 A 有 15 条消息,有 5 个分区,如果采用顺序轮询的方式,15 条消息会顺序分配给这 5 个分区,后续消费的时候,也是按照分区粒度消费。由于分区可以部署在多个不同的机器上,所以可以通过分区实现 Kafka 的伸缩性,比如主题 A 的 5 个分区,分别部署在 5 台机器上,如果下线一台,分区就变为 4。,比如下图的 2 个消费群组,可以分别消费这 4 个分区的消息,互不影响。消息经过序列化后,通过不同的分区策略,找到对应的分区。转载 2024-02-03 17:11:59 · 69 阅读 · 0 评论 -
Kafka的7中应用场景
Kafka 是一个开源的分布式流式平台,它可以处理大量的实时数据,并提供高吞吐量,低延迟,高可靠性和高可扩展性。Kafka 的核心组件包括生产者(Producer),消费者(Consumer),主题(Topic),分区(Partition),副本(Replica),日志(Log),偏移量(Offset)和代理(Broker)。数据磁盘持久化:Kafka 将消息直接写入到磁盘,而不依赖于内存缓存,从而提高了数据的持久性和容错性。转载 2023-11-17 22:30:32 · 129 阅读 · 0 评论 -
事件流处理 (ESP) 与 Kafka 简介
那么,这是如何发生的?我的信用卡公司是如何将我花的每一美元与适当的费用类别匹配,然后向我授予我可以用来预订酒店房间或机票的里程数的?这就是“事件流处理 (ESP)”发挥作用的地方。ESP是一种能够处理持续数据流(事件流)的技术,一旦事件或变化发生,就能立即处理。通过处理单个数据点而不是整个批次,事件流处理平台提供了一种架构,使软件能够理解、对事件作出反应,并在事件发生时运行。转载 2023-11-04 14:25:41 · 139 阅读 · 0 评论