kafka消费者接收不到消息_一文读懂Kafka

本文介绍了Kafka的相关概念，适合初学者学习相关概念。

持续分享互联网开发技术，关注Java、架构等，欢迎关注我。

发布与订阅消息系统

在正式讨论Apache Kafka (以下简称Kafka)之前，先来了解发布与订阅消息系统的概念， 并认识这个系统的重要性。数据(消息)的发送者(发布者)不会直接把消息发送给接收 者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接收者 (订阅者)订阅它们，以便接收特定类型的消息。发布与订阅系统一般会有一个 broker，也就是发布消息的中心点。

发布与订阅消息系统的大部分应用场景都是从一个简单的消息队列或一个进程间通信开始的。比如电商系统中，包含会员模块、订单模块、商品模块、推荐模块、配送物流模块等，多个模块(子系统)间涉及消息的传递。

最早的应用解决方案就是采用(子系统间)直连的方式，使得很多子系统交错复杂。这种点对点的连接方式，形成网状的连接，弊端很多，不一一赘述。

image

后来，为了解决子系统间直连交错的问题，出现了队列系统。下图所示的架构包含了 3 个独立的发布与订阅系统。

这种方式比直接使用点对点的连接要好得多，但这里有太多重复的地方。你的公司因此要为数据队列维护多个系统，每个系统又有各自的缺陷和不足。而且，接下来可能会有更多的场景需要用到消息系统。 此时，你真正需要的是一个单一的集中式系统，它可以用来发布通用类型的数据，其规模可以随着公司业务的增长而增长。这时Kafka登场了。

Kafka登场

Kafka就是为了解决上述问题而设计的一款基于发布与订阅的消息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统