前言
- 操作系统win10
- 安装时间2019年01月
- java版本jdk1.8.0_191
- zooekeeper版本zookeeper-3.4.12
- kafka版本kafka_2.11-2.1.0
- 本次安装为单机安装
- 参考网址1
是什么
kafka的特点
它是一个处理流式数据的”发布-订阅“消息系统,实时高效处理流式数据,将数据安全存储在分布式集群。
它是运行在集群上的,将流式记录存储在topics中,每个record由key,value和timestamp组成
kafka的概念
broker:kafka集群包含一个或者多个服务器,服务器就称作broker
topic:发布到kafka集群的消息类别。
partition:每个topic划分为多个partition。
producer:生产者,负责发布消息到broker
consumer:消费者,从broker获取消息
(kafka的核心API:Producer/Consumer/Streams/Connector)
zooekeeper
官网下载压缩包之后解压
文件配置
- 进入conf目录,复制zoo_sample.cfg并重命名为zoo.cfg,修改其中的dataDir为dataDir=E:\zookeeper-kafka\zookeeper-3.4.12\tmp
- 这里的更改路径,目录可以改成自己喜欢的目录哦
环境变量配置
操作 | 变量值 | 变量名 |
---|---|---|
新建 | ZOOKEEPER_HOME | 解压目录 |
增加 | PATH | 解压目录\bin |
测试
cmd命令行窗口输入
C:\Users\wahaha>zkServer
kafka
官网下载压缩包之后解压
文件配置
- 进入config目录,在server.properties文件中修改log.dirs为log.dirs=E:\zookeeper-kafka\kafka_2.11-2.1.0\tmp\kafka-logs(这里的更改路径,目录也可以改成自己喜欢的目录哦)
- 在server.properties文件中修改zookeeper.connect为zookeeper.connect=localhost:2181(这表示在本地运行,即Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181)
测试
在启动Kafka服务器前,需要先运行zookeeper实例(zookeeper的测试部分的命令行)
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties
测试
下面的测试命令需要先执行zooekeeper和kafka的测试部分的命令行
- 创建一个topic并命名(我这里叫wahaha...haha)
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wahaha
- 在topic下创建一个producer
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-console-producer.bat --broker-list localhost:9092 --topic wahaha
- 在topic下创建一个consumer
E:\zookeeper-kafka\kafka_2.11-2.1.0>.\\bin\\windows\\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic wahaha --from-beginning
- 在producer中输入,之后会在consumer中输出,撒花★,°:.☆( ̄▽ ̄)/$:.°★