爱清清的专栏

目录添加依赖基本配置消息监听类单个消息接收类批量消息接收类接收消息处理实现本文是使用Spring体系中的Kafka库（官网地址），里面有一个比较重要的信息是Spring-kafka、kafka-clients、Spring Boot三者的版本对应关系，版本对应不上会出现奇奇怪怪问题添加依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>sp

目录添加依赖本文是使用Spring体系中的Kafka库（官网地址），里面有一个比较重要的信息是Spring-kafka、kafka-clients、Spring Boot三者的版本对应关系，版本对应不上会出现奇奇怪怪问题添加依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId>

目录集群部署配置准备启动集群节点创建集群Topic测试验证发布消息消费消息容错测试上一章介绍了Kafka单机的部署和常用命令，这一章我们将在此基础上介绍Kafka的集群应用集群部署本文使用单台服务器的不同端口模拟集群，如果多台服务器真实环境可以修改配置IP为对应服务器IP即可配置准备# 复制多两个配置文件cp config/server.properties config/server-cluster-1.propertiescp config/server.properties conf

目录下载安装包安装包分析服务启动启动zookeeper启动kafka验证服务创建Topic命令解析常用操作命令消息生产消费生产消息消费消息下载安装包Apache kafka官方下载地址注意2.12-xx.xx之后的版本不兼容JDK1.7，需要使用JDK1.8或更高安装包分析上传服务器解压后有两个需要常用到的目录bin和config，bin中主要是启动服务脚本，config中主要是对应启动服务的配置信息。包含文件内容如下图服务启动kafka服务需要zookeeper作为服务注册中心，所

之前写了认证集群搭建和认证集群模式下生产消息的内容。本次将介绍认证集群模式下的消费消息。写博文的时候刚好项目涉及到同时要监听多个topic，而且不同topic有对应不同的groupid以及用户名密码的情况。所以本次实现了动态配置多组监听的场景，同理其它配置也可以修改配置多套。Talk is cheap配置内容：kafka: consumer: # topic::groupId::账号::密码，英文逗号分割 cp: topic1::groupid1::user1::pwd1,top.

生产环境基本都是采用认证集群的方式，认证集群搭建方式参见之前的博文（认证集群搭建）。接下来基于Spring kafka编写生产消息代码首先配置文件：kafka: producer: security: # 加密协议（和认证集群搭建时候的配置内容对应） protocol: SASL_PLAINTEXT # 加密方式（和认证集群搭建时候的配置内容对应） sasl-mechanism: SCRAM-SHA-256 # 访问用户名（和认.

安装包准备下载安装包到目标目录，用tar zxvf命令解压认证配置文件准备进入kafka安装包根目录的config文件夹下，创建kafka_server_jaas.conf和kafka_zoo_jaas.conf两个文件 创建文件 kafka_zoo_jaas.confServer{ org.apache.zookeeper.server.auth.DigestLoginModule required username="[YOUR NAME]"