为Spring搭建支持Kafka消息的环境

最新推荐文章于 2022-07-09 00:33:00 发布

qq_36412195

最新推荐文章于 2022-07-09 00:33:00 发布

阅读量139

点赞数

文章标签： java kafka 分布式 spring boot spring

本文链接：https://blog.csdn.net/qq_36412195/article/details/115824949

版权

Kafka简介

Kafka是与ActiveMQ、Artemis或Rabbit类似的消息代理，但Kafka有一些独特的技巧。

Kafka设计为集群运行，从而能够实现很强的可扩展性。通过将主题在集群的所有实例上进行分区（partition），它能够具有更强的弹性。RabbitMQ主要处理Exchange中的队列，而Kafka仅使用主题实现消息的发布/订阅。

更进一步来讲，每个主题可以划分为多个分区。在这种情况下，集群中的每个节点是某个主题一个或多个分区的首领，但并不是整个主题的首领。主题的责任会在所有节点间进行拆分。下图阐述了它是如何运行的。

在这里插入图片描述
一、为Spring搭建支持Kafka消息的环境

为了搭建Kafka的消息环境，我们需要添加对应的依赖到poml.xml中。

<!-- 为项目添加kafka支持 -->
<dependency>
	<groupId>org.springframework.kafka</groupId>
	<artifactId>spring-kafka</artifactId>
</dependency>

这项依赖会为我们的项目引入Kafka所需的所有内容。另外，它的出现会触发Spring Boot对Kafka的自动配置，除了其他功能之外，它会在Spring应用上下文中创建一个KafkaTemplate。我们所需要做的就是注入KafkaTemplate并使用它来发布和接收消息。

但是，在发送和接收消息之前，我们还需要注意使用Kafka时的一些属性。具体来讲，KafkaTemplate默认会使用localhost上监听9092端口的Kafka代理。在开发应用的时候，在本地启动Kafka代理没有问题，但是在投入生产的时候，我们需要配置不同的主机和端口。

spring.kafka.bootstrap-servers属性能够设置一个或多个Kafka服务器的地址，系统将会使用它来建立到Kafka集群的初始连接。例如，集群中的某个服务器运行在kafka.tacocloud.com上并监听9092端口，那么我们可以按照如下的方式在YAML中配置它的位置：

spring:
	kafka:
		bootstrap-server:
		- kafka.tacocloud.com:9092

但是需要注意spring.kafka.bootstrap-servers是复数形式，它能接受一个列表。所以，我们可以提供集群中的多个Kafka服务器：

spring:
	kafka:
		bootstrap-server:
		- kafka.tacocloud.com:9092
		- kafka.tacocloud.com:9093
		- kafka.tacocloud.com:9094

Kafka在项目中准备就绪之后，我们就可以发送和接收消息了。

二、通过KafkaTemplate发送消息

KafkaTemplate发送消息的如下：

在这里插入图片描述
在很多方面，KafkaTemplate与JMS和RabbitMQ对应的模板非常相似。但同时，它也有很大的差异。在发送消息的时候，这一点非常明显。

我们首先可能会发现，这里没有convertAndSend()方法了。这是因为，KafkaTemplate是通过泛型类型化的，在发送消息的时候，它能够直接处理领域类型。这样的话，所有的send()方法都完成了convertAndSend()的任务。

你可能也会发现，send()和sendDefault()的参数与JMS和Rabbit有很大的差异。在使用Kafka发送消息的时候，我们可以使用如下参数设置消息该如何进行发送：

主题（topic）和载荷（data）是其中最重要的两个参数。分区和key对于如何使用KafkaTemplate几乎没有影响，只是作为额外的信息提供给send()和sendDefault()。对于我们的场景来说，我们只关心将消息载荷发送到给定的主题，不用担心分区和key的问题。

对于send()方法来说，我们还可以选择发送一个ProducerRecord对象，它只是一个简单类型，将上述的参数放到了一个对象中。

我们还可以发送Message对象，但是需要将实体类对象转换成Message对象。相对创建和发送ProducerRecord和Message对象，使用其他的方法会更简单一些。

关注