【Kafka】微服务学习笔记九：什么是消息中间件&amp；Kafka的介绍及使用_微服务用哪些中间件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1.引入依赖

2.配置生产者

3.配置消费者

四：结果测试

1.单消费者

2.多消费者同组

3.多消费者不同组

4.总结

五：Kafka高可用设计（深入原理）

1.集群

2.备份机制（Replication）

---

一：Kafka简介

1.概述

Kafka是一款常用的消息中间件，是一个分布式流媒体平台,类似于消息队列或企业消息传递系统， 具有很高的吞吐量，官网地址。那么什么是消息中间件呢？消息中间件是利用高效可靠的消息传递机制进行异步的数据传输，并基于数据通信进行分布式系统的集成。通过提供消息队列模型和消息传递机制，可以在分布式环境下扩展进程间的通信。

你可以将消息中间件简单理解为邮局或者快递服务，我们只需要将信件或者物品交给他们之后便可以去做别的事情，这就实现了异步。至于物品的运输流程则不需要我们操心，而且传输可靠性还是较高的。

2.常用消息中间件对比

常用的消息中间件有ActiveMQ、RabbitMQ、RocketMQ、Kafka四种，由于前面我已经使用过RabbitMQ来实现对订单的管理（RabbitMQ社区活跃度高，功能完备，数据量没有那么大时候适合使用），这里我就学习一下Kafka（追求高吞吐量，适合产生大量数据的互联网服务的数据收集业务 ）。这四种消息中间件的对比见下表：

特性	ActiveMQ	RabbitMQ	RocketMQ	Kafka
开发语言	java	erlang	java	scala
单机吞吐量	万级	万级	10万级	100万级
时效性	ms	us	ms	ms级以内
可用性	高（主从）	高（主从）	非常高（分布式）	非常高（分布式）
功能特性	成熟的产品、较全的文档、各种协议支持好	并发能力强、性能好、延迟低	MQ功能比较完善，扩展性佳	只支持主要的MQ功能，主要应用于大数据领域

3.名词解释

一个简单的消息队列模型可以用下图来表示：

• producer：发布消息的对象称之为主题生产者（Kafka topic producer）
• topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）
• consumer：订阅消息并处理发布的消息的对象称之为主题消费者（consumers）
• broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理（Broker）。 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

二：Kafka安装配置

我选取的策略是在云服务器的Docker上安装该服务，不得不说云服务器用过都说香，特别是在开发时候用来安装各种容器作为服务器使用，可以大大节省自己电脑的内存，而且速度还比较快。由于Kafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka之前必须先安装zookeeper。

1.安装Zookeeper

（1）拉取镜像（注意版本对应）

docker pull zookeeper:3.4.14

（2）创建容器

docker run -d --restart=always --name zookeeper -p 2181:2181 zookeeper:3.4.14

2.安装Kafka

（1）拉取镜像（注意版本对应）

docker pull wurstmeister/kafka:2.12-2.3.1

（2）创建容器（注意修改成自己的ip地址）

docker run -d --name kafka \
--env KAFKA_ADVERTISED_HOST_NAME=4.24.52.122 \
--env KAFKA_ZOOKEEPER_CONNECT=4.24.52.122:2181 \
--env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://4.24.52.122:9092 \
--env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
--env KAFKA_HEAP_OPTS="-Xmx256M -Xms256M" \
--restart=always \
-p 9092:9092 wurstmeister/kafka:2.12-2.3.1

（3）查看日志

docker logs kafka

如果你的也是云服务器，查看日志时候出现如下情况

这时候你就是你的2181端口还未开放，需要自己到防火墙上面进行端口开放设置，除了开放2181端口，9092端口也是需要开放的。

注意：要是你的服务器不是云服务器，你可以将-p 9092:9092替换成–net=host，表示直接使用容器宿主机的网络命名空间，即没有独立的网络环境，它使用宿主机的ip和端口。使用云服务器的话则使用-p参数进行端口映射。

三：入门案例

1.引入依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
</dependency>

2.配置生产者

package com.my.kafka;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
 * 生产者
 */
public class ProducerDemo {
    public static void main(String[] args) {
        //1.kafka的配置信息
        Properties pro = new Properties();

        //Kafka的连接地址
        pro.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"4.234.52.122:9092");
        //发送失败，失败重连次数
        pro.put(ProducerConfig.RETRIES_CONFIG,5);
        //消息key的序列化器
        pro.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
        //消息value的序列化器
        pro.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");

        //2.生产者对象
        KafkaProducer<String,String> producer = new KafkaProducer<String, String>(pro);

        //3.封装发送消息
        ProducerRecord<String, String> message = new ProducerRecord<>("my-topic", "asd007", "hello kafka");

        //4.发送消息
        producer.send(message);

        //5.关闭消息通道(必选)
        producer.close();
    }
}

代码解释：上面设置序列化器时候，我们怎么知道序列化器的引用地址呢？你可以点击项目左下角的“外部库”：

往下翻找到org.apache.kafka并进入common包里面

然后找到serialization包，找到下面两个类：

直接复制引用即可（下面的消费者也是如此，只不过需要复制的是反序列化的类）。

3.配置消费者

package com.my.kafka;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

/**
 * 消费者
 */
public class ConsumerDemo {
    public static void main(String[] args) {
        //1.添加Kafka配置信息
        Properties pro = new Properties();

        //Kafka的连接地址
        pro.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"4.234.52.122:9092");
        //消费者组
        pro.put(ConsumerConfig.GROUP_ID_CONFIG,"group2");
        //消息key的反序列化器
        pro.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");
        //消息value的反序列化器
        pro.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringDeserializer");

        //2.消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(pro);

        //3.订阅主题
        consumer.subscribe(Collections.singletonList("my-topic"));


![img](https://img-blog.csdnimg.cn/img_convert/2776502c0518d47ca87c3f3fae888e1c.png)
![img](https://img-blog.csdnimg.cn/img_convert/306e762c2b01b9887c589bd4f898ae30.png)
![img](https://img-blog.csdnimg.cn/img_convert/bf43725f66e4a7dd18e639d806da3140.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

0tk-1715353110955)]
[外链图片转存中...(img-w74bPE2L-1715353110955)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**