SpringBoot整合并简单使用SSL认证的Kafka

目录

    准备工作

    编写消费者生产者

    测试一下

---

昨天村口【托尼老师】，帮我设计了个发型，美滋滋~

---

准备工作

第一步：启动需要SSL认证的kafka。

注：SSL证书的生成详见https://blog.csdn.net/justry_deng/article/details/88383081；
       Kafka配置SSL详见https://blog.csdn.net/justry_deng/article/details/88383707。

第二步：在本地将C:\Windows\System32\drivers\etc\hosts中指定kafka所在broker的ip地址以及其对应的主机名。

提示：本人的Java代码，测试时是写在Windows上的，而kafka是部署在虚拟机Linux上的。

第三步：在application.properties系统配置文件中配置Kafka相关参数。

# -> -> -> -> -> -> -> ->  -> ->  -> -> kafka 基础配置
# 指定kafka 代理地址，可以多个，以逗号分隔
spring.kafka.bootstrap-servers=kafka-single:9095
# -> -> -> -> -> -> -> ->  -> ->  -> -> kafka 消息生产者
# 重试次数
spring.kafka.producer.retries=0
# -> -> -> -> -> -> -> ->  -> ->  -> -> kafka 消息消费者
# 偏移量策略设置
# earliest(当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费)
# latest(当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据)
# none(topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常)
spring.kafka.consumer.auto-offset-reset=earliest
# 允许自动提交消费者偏移量
spring.kafka.consumer.enable-auto-commit=true

# -> -> -> -> -> -> -> ->  -> ->  -> -> SSL
# ssl基础配合配置
spring.kafka.ssl.key-store-location=file:C:/Users/JustryDeng/Desktop/ca/server.keystore.jks
spring.kafka.ssl.key-store-password=ds1994
spring.kafka.ssl.key-password=ds1994
spring.kafka.ssl.trust-store-location=file:C:/Users/JustryDeng/Desktop/ca/client.truststore.jks
spring.kafka.ssl.trust-store-password=ds1994
spring.kafka.ssl.key-store-type=JKS

# 指定生产者、消费者均采用SSL协议
spring.kafka.producer.properties.security.protocol=SSL
spring.kafka.consumer.properties.security.protocol=SSL

注：配置文件中涉及到的证书，在https://blog.csdn.net/justry_deng/article/details/88383081时就已经生成好了，我们
       只需要拷贝一份到客户端，然后在配置文件中指向对应的文件即可。本人是放在这里的：

第四步：在pom.xml中引入相关依赖。

<!-- 需要引入与所安装的kafka对应版本的依赖 -->
<!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.2.2.RELEASE</version>
</dependency>

注：引入什么版本的依赖需要看安装的是什么版本的Kafka。

更多对应关系可详见http://spring.io/projects/spring-kafka。

注：本人安装的Kafka版本是2.1.0的，所以会这里引入的依赖时2.2.x的spring-kafka。

这里给出完整的pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.aspire</groupId>
    <artifactId>kafka</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>kafka</name>
    <description>java使用kafka，简单示例</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!-- 需要引入与所安装的kafka对应版本的依赖 -->
        <!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.2.2.RELEASE</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

---

编写消费者生产者

项目结构说明：

注：从上往下分别是消费者、生产者、启动项目时会进行消息发送的Runner类、配置文件、pom.xml文件。

生产者(示例)：

package com.single;

import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

/**
 * 生产者
 *
 * @author JustryDeng
 * @date 2019/2/15 9:44
 */
@Component
public class MyProducer {

    private final KafkaTemplate<String, String> kafkaTemplate;

    public MyProducer(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    /**
     * 发送消息
     * 注:kafkaTemplate.send(param...)是一个异步的方法，其发送结果可以通过Future的实现来获得。
     *
     * @author JustryDeng
     * @date 2019/2/15 12:01
     */
    public void sendMessage(String message){
        String topic = "topicOne";
        // 将消息发送到指定的主题下；这里可以是一个不存在的主题，会自动创建(注:自动创建的主题默认的分区数量是1个)
        kafkaTemplate.send(topic, message);
    }
}

注：KafkaTemplate提供了多个发送消息的方法，上例所示只是其一。

消费者：

package com.single;

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

/**
 * 消费者
 *
 * @author JustryDeng
 * @date 2019/2/15 9:44
 */
@Component
public class MyConsumer {

    /**
     * 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
     *    实际使用时根据项目情况灵活运用即可。
     *
     * @author JustryDeng
     * @date 2019/2/15 12:30
     */
    @KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-01")
    public void consumerOne(String message) {
        System.out.println("consumerOne消费了消息 -> " + message);
    }

    /**
     * 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
     *    实际使用时根据项目情况灵活运用即可。
     *
     * @author JustryDeng
     * @date 2019/2/15 12:30
     */
    @KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-01")
    public void consumerTwo(String message) {
        System.out.println("consumerTwo消费了消息 -> " + message);
    }

    /**
     * 注:@KafkaListener注解的属性很多，包括 匹配topic、错误处理、分组等等，
     *    实际使用时根据项目情况灵活运用即可。
     *
     * @author JustryDeng
     * @date 2019/2/15 12:30
     */
    @KafkaListener(topics = {"topicOne", "topicB"}, groupId = "group-02")
    public void consumerThree(String message) {
        System.out.println("consumerThree消费了消息 -> " + message);
    }
}

注：更多的时候，我们会使用ConsumerRecord<K, V>来接收消息，因为我们可以从该模型中获取到更多的信息，如：

ConsumerRecord<K, V>中封装的信息有：

---

测试一下

Runner测试类如下：

启动SpringBoot，控制台输出：

注：topicOne主题是本人重新创建的只有一个分区的主题。所以同一个消费者组下，这批消息的消费只能有
        一个(consumerOne和consumerTwo属于同一个消费者组，consumerThree属于另一个消费者组。所以
        如上图所示，要么只有consumerOne和consumerThree，要么只有consumerOne和consumerThree)。

由此可见，示例成功！

 

声明：本文为学习笔记，学习自51CTO，《Kafka消息中间件》，讲师李兴华。

^_^ 如有不当之处，欢迎指正

^_^ 学习视频：
              《Kafka消息中间件》，讲师李兴华

^_^ 参考链接：
              http://kafka.apache.org/documentation/

^_^ 测试代码托管链接：
              https://github.com/JustryDeng/CommonRepository

^_^ 本文已经被收录进《程序员成长笔记(四)》，笔者JustryDeng