Kafka介绍

最新推荐文章于 2024-05-25 20:31:37 发布

RunFromHere

最新推荐文章于 2024-05-25 20:31:37 发布

阅读量251

点赞数

分类专栏：消息队列文章标签： kafka 分布式大数据消息队列 MQ

本文链接：https://blog.csdn.net/baidu_34122324/article/details/111936048

版权

1 篇文章 0 订阅

订阅专栏

关键词：kafka 消息系统大数据吞吐量订阅生产消费

目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

消息系统

Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。

存储系统

Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于Kafka 的消息持久化功能和多副本机制，我们可以把Kafka作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。

流式处理平台

Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。

Kafka体系架构

在这里插入图片描述

一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个ZooKeeper集群，如上图所示。

ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的
Producer将消息发送到Broker
Broker负责将收到的消息存储到磁盘中
Consumer负责从Broker订阅并消费消息
Producer：生产者，也就是发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中。
Consumer：消费者，也就是接收消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。
Broker：服务代理节点。对于Kafka而言，Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例。大多数情况下也可以将Broker看作一台Kafka服务器，前提是这台服务器上只部署了一个Kafka实例。一个或多个Broker组成了一个Kafka集群。一般而言，我们更习惯使用首字母小写的broker来表示服务代理节点。

在这里插入图片描述

Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。

关注