搭建kafka集群（伪搭建）

一、下载 kafka

官网下载地址： http://kafka.apache.org/downloads.

二、配置 server.properties

解压zookeeper，进入config目录，找到server.properties文件

broker.id=1 //集群中唯一id
host.name=192.168.120.87 //ip
port=9091 //端口
log.dirs=C:\\Users\\Desktop\\kafka\\tmp\\kafka_log1  // 日志地址
zookeeper.connect=192.168.120.87:2181 //zookeeperServers列表，多个zookeeper节点以逗号分开

三、启动kafka集群

Windows环境下,分别找到bin目录下的Windows目录

kafka-server-start.bat ../../config/server.properties

kafka集群就已经搭建好了

常用命令

创建topic：

kafka-topics.bat --create --zookeeper 192.168.120.87:2181, 192.168.120.87:2182, 192.168.120.87:2183 --replication-factor 2 --partitions 3 --topic user

注意：  --replication-factor 2   这个数字是创建副本的节点数，这个节点数不能多于kafka的节点数，所以本案例中，该数字最高可以为 3

查看topic列表:

kafka-topics.bat --list --zookeeper 192.168.120.87:2181

查看某个topic的详细信息:

kafka-topics.bat --describe --zookeeper 192.168.120.87:2181  --topic user

	Topic: user     Partition: 0    Leader: 2       Replicas: 2,3   Isr: 2,3
    Topic: user     Partition: 1    Leader: 3       Replicas: 3,1   Isr: 3,1
    Topic: user     Partition: 2    Leader: 1       Replicas: 1,2   Isr: 1,2
解释：Kafka集群一共三个节点，user这个Topic, 编号为0的Partition,Leader在broker.id=2这个节点上，副本在broker.id为2、3这个两个节点上，并且所有副本都存活，并跟broker.id=1这个节点同步

生产消息：

kafka-console-producer.bat --broker-list 192.168.120.87:9091 --topic user

消费消息（低版本）：

kafka-console-consumer.bat --zookeeper 192.168.120.87:2181, 192.168.120.87:2182, 192.168.120.87:2183 --topic user --from-beginning

消费消息（高版本）：

kafka-console-consumer.bat --bootstrap-server 192.168.120.87:9091, 192.168.120.87:9092, 192.168.120.87:9093 --from-beginning --topic user

tips： 生产者生成消息，消费者立马就会消费看到，可以一边操作一边看