「物联网技术」EMQX 的MQTT 和 Kafka 对比

 

MQTT与Kafka完全不同。MQTT是由OASIS技术委员会的成员（大多数是IBM和Microsoft的高级工程师）开发的协议和技术标准。Kafka是LinkedIn首次实现的开源流平台。2011年开放源码后被Apache孵化器孵化，成为Apache软件基金会的顶级项目。

两者之间唯一的联系是它们都与发布/订阅模式相关。MQTT是基于发布/订阅模式的消息传递协议，而ApacheKafka的生产和消费过程也是发布/订阅模式的一部分。如果我们实现基于MQTT协议的消息代理，从发布/订阅模式的角度来看，这个MQTT代理是否等同于Kafka？答案仍然是否定的。

虽然Kafka也是一个基于发布/订阅模式的消息传递系统，但它也被称为“分布式提交日志”或“分布式流平台”。它的主要功能是实现分布式持久数据保存。Kafka的数据单元可以理解为数据库中的一行“数据”或一条“记录”。Kafka按主题分类。当Kafka的制作者发布特定主题的消息时，消费者就消费该特定主题的消息。事实上，生产者和消费者可以理解为发布者和订阅者，主题就像数据库中的一个表。每个主题包含多个分区，分区可以分布在不同的服务器上。也就是说，通过这种方式存储和读取分布式数据。Kafka的分布式体系结构有助于读写系统的扩展和维护（例如，通过备份服务器实现冗余备份，通过构建多个服务器节点实现性能改进）。在许多有大数据分析需求的大型企业中，Kafka将被用作数据流处理平台。

MQTT最初是为物联网设备的网络访问而设计的。大多数物联网设备都是低性能、低功耗的计算机设备，网络连接质量不可靠。因此，在设计协议时需要考虑以下几个关键点：

• 该协议应该足够轻量级，以允许嵌入式设备快速解析和响应。

• 足够灵活，以支持物联网设备和服务的多样化。

• 它应该被设计成异步消息协议而不是异步协议。这是因为大多数物联网设备的网络延迟很可能非常不稳定。如果使用同步消息协议，IoT设备需要等待来自服务器的响应。为大量物联网设备提供服务显然是非常不现实的。

• 必须是双向通信，并且服务器和客户端应该能够互相发送消息。

MQTT协议完美地满足了上述要求，最新版本的MQTT v5.0协议已经过优化，使其比之前的v3.1.1版本更灵活，占用的带宽更少。

对于基于mqtt的消息代理和Kafka的区别，EMQ先生认为这是因为他们的关注点不同。Kafka专注于数据的存储和读取，针对高实时性能的流式数据处理场景，而MQTT Broker则侧重于客户端和服务器之间的通信。

MQTT broker和Kafka采用的消息交换模式非常相似，因此将它们结合起来显然是个好主意。事实上，一些MQTT代理，例如EMQ X MQTT broker, 已经实现了MQTT-broker和Kafka之间的桥接。MQTT-broker用于快速接收和处理来自大量物联网设备的消息，Kafka收集并存储这些大量数据并将其发送给数据分析员来分析和处理消息。

本文：【事件驱动架构】EMQX MQTT 和 Kafka 对比 |

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】

谢谢大家关注，转发，点赞和在看。

自我介绍

• 做一个简单介绍，酒研年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【架构师研究会】和【开发者开聊】，有更多的内容分享，谢谢大家收藏。
• 企业架构师需要比较广泛的知识面，了解一个企业的整体的业务，应用，技术，数据，治理和合规。之前4年主要负责企业整体的技术规划，标准的建立和项目治理。最近一年主要负责数据，涉及到数据平台，数据战略，数据分析，数据建模，数据治理，还涉及到数据主权，隐私保护和数据经济。 因为需要，比如数据资源入财务报表，另外数据如何估值和货币化需要财务和金融方面的知识，最近在学习财务，金融和法律。打算先备考CPA，然后CFA，如果可能也想学习法律，备战律考。
• 欢迎爱学习的同学朋友关注，也欢迎大家交流。全网同号【架构师研究会】

欢迎收藏  【全球IT瞭望】，【架构师酒馆】和【开发者开聊】.