（windows）kafka集群部署

1.kafka的运行环境需要JDK

        Java Downloads | Oracle

2.下载kafka非源码版本

        http://kafka.apache.org/downloads

        

3.现在kafka中自带zookeeper，不需要单独下载（单独下载部署请看之前发的zookeeper集群部署），zookeeper配置文件为：kafka_2.13-2.7.0-2\config\zookeeper.properties

（本文使用单机配置zookeeper，注意dataDir、clientPort不能相同，多机要改IP和防火墙）

        

        

        

        在kafka主目录下新建zookeeper-snapshots文件夹（和dataDir相同），在集群模式时在该目录下要新建一个myid文件。myid文件的内容只有一行，即对应服务器server.id中的id，表示zk进程的id，内容只能为1 - 255之间的数字。如上例子中3台服务器的myid内容分别为1、2、3。

4.kafka服务器配置文件为：kafka_2.13-2.7.0-2\config\server.properties

（本文使用单机配置kafka，注意broker.id、port、dataDir、log.dir不能相同）

        

        

        

5.生产者配置文件：kafka_2.13-2.7.0-2\config\producer.properties

消费者配置文件：kafka_2.13-2.7.0-2\config\consumer.properties

分别加入kafka服务器列表（注意不是zookeeper服务器列表），IP和端口别搞错

        

6.服务器配置好了，启动zookeeper

        启动zookeeper1

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0\config\zookeeper.properties

        启动zookeeper2

                cd D:\apache\kafka_2.13-2.7.0-2\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0-2\config\zookeeper.properties

        启动zookeeper3

                cd D:\apache\kafka_2.13-2.7.0-3\bin\windows

                .\zookeeper-server-start.bat D:\apache\kafka_2.13-2.7.0-3\config\zookeeper.properties

7.启动kafka（启动失败清空kafka-datas、kafka-logs、logs、zookeeper-snapshots/version-2文件夹内容再次尝试）

        启动kafka1

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0\config\server.properties

        启动kafka2

                cd D:\apache\kafka_2.13-2.7.0-2\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0-2\config\server.properties

        启动kafka3

                cd D:\apache\kafka_2.13-2.7.0-3\bin\windows

                .\kafka-server-start.bat D:\apache\kafka_2.13-2.7.0-3\config\server.properties

8.其他命令（注意新版本生产消费是通过bootstrap-server而不是zookeeper）

        创建主题

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic TestTopic1

        查看主题

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --zookeeper localhost:2181,localhost:2182,localhost:2183 --describe --topic TestTopic1

        主题列表

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics.bat --zookeeper localhost:2181,localhost:2182,localhost:2183 --list

        生产者

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-console-producer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic TestTopic1

        （旧版本是broker-list，新版本是bootstrap-server ）

        消费者

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic TestTopic1 --from-beginning

        删除主题(标记删除，并未实际删除)

                cd D:\apache\kafka_2.13-2.7.0\bin\windows

                .\kafka-topics --zookeeper localhost:2181,localhost:2182,localhost:2183 --delete --topic TestTopic1

9.kafka界面管理工具：kafka tool

        Offset Explorer