java kafka 集群消费_kafka集群简单生产者消费者实例

项目描述

本项目是个简单的kafka集群简单生产者和消费者实例，生产者能生产消息，消费者能消费消息，这里将消费的消息存入了mysql数据库，适合刚kafka刚入门的朋友借鉴使用，里面的zookeeper集群和kafka集群的地址需要修改为自己的。

运行环境

jdk1.8+mysql+linux+zookeeper集群+kafka集群

支持windows下集群

项目技术(必填)

java+maven+log4j

jar包文件

链接：https://pan.baidu.com/s/1-PfrSjoGPP3WPtoP-wBpTw

提取码：yuvg

数据库文件

链接：https://pan.baidu.com/s/1e1kh8Dkqe7oz43OHR5YEEg

提取码：y9u9

项目截图(必填)

运行截图(必填)

先启动Main在启动ConsumerMain

这是查看的运行日志

windows下目录在项目同一个磁盘目录的D:\kafkaProjects\logs

控制台日志同上面的文件日志

生产者日志

消费者日志

注意事项

1.注意修改自己的集群地址以及消费者消费消息存入数据库地址

2.数据库保存消息跑出如下异常

需要加private static final String URL = "jdbc:mysql://127.0.0.1:3306/kafka_demo?serverTimezone=UTC";

3.如果zookeeper和kafka是单个实例，不集群，则修改ProducerUtil.java和ConsumerUtil.java

4.必须先启动zookeeper和kafka

cd D:\kafka_2.12-2.3.0\bin\windows\

zookeeper-server-start.bat ..\..\config\zookeeper.properties

cd D:\kafka_2.12-2.3.0\bin\windows\

kafka-server-start.bat ..\..\config\server.properties

windows下如何启动kafka请参考https://www.jianshu.com/p/ce203d4e2f41