windows运行kafka

1. 启动zookeeper服务，运行命令

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

2.启动kafka服务，运行命令

 bin\windows\kafka-server-start.bat config\server.properties

3.Kafka中创建一个Topic，名称为iris

bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic iris

4.创建成功后，可以使用如下命令，显示所有Topic的列表：

bin\windows\kafka-topics.bat --list --zookeeper localhost:2181 

5.将iris数据集写入该Topic

URL = "https://alink-release.oss-cn-beijing.aliyuncs.com/data-files/iris.csv"
SCHEMA_STR = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string"
data = CsvSourceStreamOp().setFilePath(URL).setSchemaStr(SCHEMA_STR)

sink = Kafka011SinkStreamOp()\
.setBootstrapServers("localhost:9092")\
.setDataFormat("json")\
.setTopic("iris")

data.link(sink)

StreamOperator.execute()

6.使用如下命令，读取（消费）topic iris中的数据：

bin\windows\kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic iris --from-beginning

部署：

1. java

2. zookeeper
https://downloads.apache.org/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

zoo_sample.cfg重命名成zoo.cfg，修改dataDir为【dataDir=/zookeeper/data】

添加环境变量

   ZOOKEEPER_HOME          D:\bigdata\zookeeper
   Path 在现有的值后面添加     ;%ZOOKEEPER_HOME%\bin;

cmd： zkserver

3. kafka

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz

修改config下server.properties文件，把log.dirs修改为【log.dirs=D:\bigdata\kafka\kafka-logs】

进入kafka文件目录D:\bigdata\kafka，执行以下命令:

进入kafka文件目录D:\kafka_2.12-0.11.0.0，执行以下命令，启动kafka通讯的服务器broker:

.\bin\windows\kafka-server-start.bat .\config\server.properties

创建kafka的消息topics：kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo

分别打开两个cmd窗口，进入目录D:\bigdata\kafka\bin\windows，创建Producer和Consumer

（1）Producer

进入目录D:\bigdata\kafka\bin\windows输入如下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic testDemo

（2）Consumer

进入目录D:\bigdata\kafka\bin\windows输入如下命令

kafka-console-consumer.bat --zookeeper localhost:2181 --topic testDemo
然后就可以在Producer中发信息，在Consumer中收信息了