windows安装和运行kafka

   个人想进行一些kafka+flume的测试，公司集群有点问题，于是在windows10上自己部署，发现windows 和linux 部署还是有不小的区别，于是做个记录。 

    kafka的运行需要zookeeper,在windows 只是做测试，zookeeper的只需要配置成单节点就行。

    kafka的运行也需要java环境，网上资料很多，自行配置。

一. 安装zookeeper

1.下载zookeeper, http://kafka.apache.org/ 

2 解压文件（本文解压到 D:\work\software\zookeeper-3.4.13）

3 打开D:\work\software\zookeeper-3.4.13\conf，把zoo_sample.cfg重命名成zoo.cfg

4 从文本编辑器里打开zoo.cfg, 修改 dataDir的值改成“D:\work\software\zookeeper-3.4.13\data”

5 打开cmd,进入 D:\work\software\zookeeper-3.4.13\bin

   输入ZkServer.cmd

 只要没报错，就是正常启动中，不要关闭，一直开启着。

二.安装kafka

1 下载安装文件： http://kafka.apache.org/downloads.html

2 解压文件（本文解压到 D:\work\software\kafka_2.11-2.0.0）

3 打开cmd

 进入kafka文件目录: D:\work\software\kafka_2.11-2.0.0

 运行kafka 

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

三. 创建topic

1.所在目录   D:\work\software\kafka_2.11-2.0.0

2 新建topic  flume_kafka

bin\kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1

 

四，查询所有的topic

1.进入kafka的windows目录   D:\work\software\kafka_2.11-2.0.0\bin\windows

2 新建topic  flume_kafka

五.创建生产者producer

1.进入kafka的windows目录   D:\work\software\kafka_2.11-2.0.0\bin\windows

2 创建生产者 

kafka-console-producer.bat --broker-list localhost:9092 --topic test

六.创建消费者consumer

1.进入kafka的windows目录   D:\work\software\kafka_2.11-2.0.0\bin\windows

2 创建消费者

kafka-console-consumer.bat --topic test  --from-beginning --bootstrap-server localhost:9092

  七.生产和消费数据

1.生产数据

 2.消费数据

   之前这个topic 我已经写过数据，-from-brgining 就会显示这个topic的所有生产信息

    而新生产的 “20181017” 这条数据是新生产的，在消费者可以看到。