kafka集群的搭建

1、新建三台虚拟机
我这里新建的三台虚拟机的IP分别是192.168.64.200、192.168.64.201、192.168.64.202

2、首先搭建好zookeeper集群
zookeeper集群的搭建，具体可以参考博客ZooKeeper集群的搭建

3、下载好kafka的压缩包，并解压

4、解压后分别修改kafka的conf/server.properties 配置文件，修改内容如下：

borker.id=1
listeners=PLAINTEXT://192.168.64.200:9092
advertised.listeners=PLAINTEXT://192.168.64.200:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

borker.id=2
listeners=PLAINTEXT://192.168.64.201:9092
advertised.listeners=PLAINTEXT://192.168.64.201:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

borker.id=3
listeners=PLAINTEXT://192.168.64.202:9092
advertised.listeners=PLAINTEXT://192.168.64.202:9092
log.dirs=/usr/local/src/kafka_2.11-2.0.0/logs

• logs目录如果没有的话，需要自己新建
• 如果是通过克隆虚拟机的话，还需要修改logs/meta.properties文件中的broker.id属性，其中，值为当前kafka的broker.id

5、启动kafka
./kafka-server-start.sh config/server.properies

• 启动后可以看到broker.id = 1 started的提示

6、创建topic
./kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

• 创建了一个名为test的topic

7、查看topic列表
./kafka-topics.sh –list –zookeeper localhost:2181

8、生产消息
./kafka-console-producer.sh –broker-list localhost:9092 –topic test

9、消费消息
./kafka-console-consumer.sh –zookeeper localhost:9092 –topic test –from-beginning（高版本已过期）
./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning

10、查看描述topic信息
./kafka-topic.sh –describe –zookeeper localhost:2181 –topic test

参考：Kafka 安装及快速入门
Kafka的详细介绍可以参考：
1、kafka简介
2、kafka安装和使用
3、kafka核心概念
4、kafka核心组件和流程–控制器
5、kafka核心组件和流程–协调器
6、kafka核心组件和流程–日志管理器
7、kafka核心组件和流程–副本管理器
8、kafka编程实战