kafka基础

一、kafka

1、为什么要使用消息队列？

使用异步的通信方式：

同步方式存在的问题：

• 造成系统开销-响应时间比较长
• 在同步的过程中要保证每个服务都顺利执行完，整个链路才执行完，如果受到网络的影响，整个链接的执行同样被影响。-导致用户体验较差。

异步的优势：

• 明显提高系统的吞吐量
• 即使有服务失败，可通过分布式事务方案解决

消息队列解决：通信问题

二、消息队列的分类

• rabbitMQ:

• rockerMQ: 阿里内部一个大神，根据kafka的内部执行原理，手写的一个消息队列中间件

• kafka: 全球消息处理性能最快的一款MQ

• zeroMQ:

  消息队列中间件有什么区别：

  1、有broker

  整个broker, 依据topic来进行消息的中转

  2、无broker

  在正常者和消费者之间没有使用broker, 例如：zeroMQ，直接使用socker进行通信

三、kafka基本概念

kafka是一个分布式的，分区的消息服务。

消息相关术语：

名称	解释
Broker	消息中间件处理节点，一个kafka节点就是一个broker，一个或者多个Broker可以组成一个kafka集群
Topic	kafka根据topic对消息进行归类，发布到kafka集群的每条消息都需要指定一个topic
Producer	消息生产者，向Broker发送消息的客户端
Consumer	消息消费者，向Broker读取消息的客户端
ConsumerGroup	每个Consumer属于一个特定的ConsumerGroup，一条消息可以被多个不同的ConsumerGroup消费，但是一个ConsumerGroup只能有一个Consumer能够消费该消息
Partition	物理上的概念，一个topic可以分为多个partition,每个partition内部消息是有序的