springboot集成kafka

linux安装kafka做配置

官网下载kafka

解压：tar -zxvf kafka_2.11-1.0.0.tgz

创建kafka文件  mkdir kafka 

移动文件夹到kafka  mv kafka_2.11-1.0.0 kafka

修改 kafka-server 的配置文件

vim  /home/jibohai/kafka/kafka_2.12-2.3.0/config/server.properties

修改 (单机)

broker.id=1
log.dir=/home/jibohai/kafka/kafka_2.12-2.3.0/logs

然后保存

启动zk

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
启动kafka

bin/kafka-server-start.sh config/server.properties

使用 kafka-topics.sh 创建单分区单副本的 topic test：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
 

查看topic 列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

使用 kafka-console-producer.sh 发送消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
 

使用 kafka-console-consumer.sh 接收消息并在终端打印：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
 

查看topics信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行给出了所有分区的摘要，每个附加行给出了关于一个分区的信息。

“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。

“Replicas”: 是复制此分区日志的节点列表，无论它们是否是领导者，或者即使他们当前处于活动状态。

“Isr”: 是一组“同步”副本。这是复制品列表的子集，当前活着并被引导到领导者

集群配置：

单机多broker 集群配置

cp config/server.properties config/server-2.properties

vim config/server-2.properties

broker.id=2

listeners = PLAINTEXT://:9093

log.dir=/home/jibohai/kafka/kafka_2.12-2.3.0/logs2

启动kafka2  bin/kafka-server-start.sh config/server-2.properties

cp config/server.properties config/server-3.properties

vim config/server-3.properties

broker.id=3

listeners = PLAINTEXT://:9094

log.dir=/home/jibohai/kafka/kafka_2.12-2.3.0/logs3

启动kafka3  bin/kafka-server-start.sh config/server-3.properties