Kafka的简介（1）（*）

Firm陈

已于 2022-08-15 14:12:36 修改

阅读量785

点赞数 1

分类专栏：消息中间件文章标签： java 后端

于 2021-05-25 15:24:14 首次发布

本文链接：https://blog.csdn.net/weixin_42408447/article/details/117256821

版权

Kafka是一种由LinkedIn开发并贡献给Apache的分布式、高吞吐量的消息系统，常用于日志收集和处理。其设计目标包括提供O(1)的消息持久化、高吞吐、支持消息分区和顺序保证。Kafka具有解耦、冗余、扩展性和顺序保证等优点，广泛应用于日志处理和实时数据流。文章还对比了RabbitMQ、Redis、ZeroMQ和ActiveMQ等消息队列系统，并介绍了Kafka中的术语如broker、topic、producer、consumer、consumer group等。

摘要由CSDN通过智能技术生成

一.简介

1.概述
Kafka最初是由Linkedin公司开发的，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

主要应用场景是：日志收集系统和消息系统。

Kafka主要设计目标如下：
（1）以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。
（2）高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。
（3）支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。
（4）同时支持离线数据处理和实时数据处理。
（5）Scale out:支持在线水平扩展

2.消息系统介绍
一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。

3.点对点消息传递模式
在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除。该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。这种架构描述示意图如下：
在这里插入图片描述
生产者发送一条消息到queue，只有一个消费者能收到。