Kafka原理详解

Kafka原理详解
原创 马哥企业教练团队 马哥Linux运维 昨天Kafka是什么？Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。
消息系统分类
我们知道常见的消息系统有Kafka、RabbitMQ、ActiveMQ等等，但是这些消息系统中所使用的消息模式如下两种：
Peer-to-Peer (Queue)简称PTP队列模式，也可以理解为点到点。例如单发邮件，我发送一封邮件给小徐，我发送过之后邮件会保存在服务器的云端，当小徐打开邮件客户端并且成功连接云端服务器后，可以自动接收邮件或者手动接收邮件到本地，当服务器云端的邮件被小徐消费过之后，云端就不再存储(这根据邮件服务器的配置方式而定)。名词解释：Producer=生产者
Queue=队列
Consumer=消费者
Peer-to-Peer模式工作原理：
1.消息生产者Producer1生产消息到Queue，然后Consumer1从Queue中取出并且消费消息。
2.消息被消费后，Queue将不再存储消息，其它所有Consumer不可能消费到已经被其它Consumer消费过的消息。
3.Queue支持存在多个Producer，但是对一条消息而言，只会有一个Consumer可以消费，其它Consumer则不能再次消费。
4.但Consumer不存在时，消息则由Queue一直保存，直到有Consumer把它消费。Publish/Subscribe（Topic）
简称发布/订阅模式。例如我微博有30万粉丝，我今天更新了一条微博，那么这30万粉丝都可以接收到我的微博更新，大家都可以消费我的消息。
注：以下图示中的Pushlisher是错误的名词，正确的为Publisher名词解释：Publisher=发布者Topic=主题Subscriber=订阅者Publish/Subscribe模式工作原理：1.消息发布者Publisher将消息发布到主题Topic中，同时有多个消息消费者 Subscriber消费该消息。2.和PTP方式不同，发布到Topic的消息会被所有订阅者消费。3.当发布者发布消息，不管是否有订阅者，都不会报错信息。4.一定要先有消息发布者，后有消息订阅者。注意：Kafka所采用的就是发布/订阅模式，被称为一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。常用消息系统对比•RabbitMQ Erlang编写，支持多协议 AMQP，XMPP，SMTP，STOMP。支持负载均衡、数据持久化。同时 支持Peer-to-Peer和发布/订阅模式•Redis 基于Key-Value对的NoSQL数据库，同时支持MQ功能，可做轻量级队列服务使用。就入队操作而言， Redis对短消息(小于10KB)的性能比RabbitMQ好，长消息的性能比RabbitMQ差。•ZeroMQ