kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。
window环境下如何安装kafka呢?
下载地址:
Zookeeper下载地址:
http://archive.apache.org/dist/zookeeper/
选择一个版本进行下载,比如:
https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
Kafka下载地址:
https://archive.apache.org/dist/kafka/
选择一个版本进行下载,比如:
https://archive.apache.org/dist/kafka/2.0.0/kafka_2.12-2.0.0.tgz
安装步骤
步骤一:安装jdk环境:
JDK,基本都装了,忽略
步骤二:下载并解压Zookeeper
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper。
解压下载的文件zookeeper-3.4.13.tar.gz,并重命名解压后的文件为zookeeper3.4.13,复制到指定位置(此处以E:\tool\kafka\zookeeper3.4.13为例)
步骤三:配置Zookeeper
将 E:\tool\kafka\zookeeper3.4.13\conf下的zoo_sample.cfg文件更改为zoo.cfg;
打开“zoo.cfg”找到并编辑dataDir=E:/tool/kafka/zookeeper3.4.13/tmp
注意此处配置的路径一定是“/”而不是“\”,不然会启动后会报错并自动关闭服务。
步骤四:配置Zookeeper环境变量
我的电脑→右键选择属性→高级系统设置→环境变量:
选择新建系统环境变量
配置ZOOKEEPER_HOME:
输入解压的目录:
E:\tool\kafka\zookeeper3.4.13
在系统环境变量Path中,增加“%ZOOKEEPER_HOME%\bin”
步骤五:启动Zookeeper
按: windows+r, 输入cmd, 打开dos窗口,输入命令:
zkServer
启动成功:
注意,在使用kafka 的时候,一定保持窗口不能关闭。
步骤六:下载并解压Kafka
解压下载的文件kafka_2.12-2.0.0.tgz,并重命名为kafka2.12,并复制到指定位置(此处以E:\tool\kafka\kafka2.12为例)
步骤七:配置Kafka
打开E:\tool\kafka\kafka2.12\config\server.properties,里面的路径用 /
1,编辑log.dirs= E:/tool/kafka/kafka2.12/logs 或是:log.dirs= E:\\tool\\kafka\\kafka2.12\\logs
2,编辑broker.id=1。 配置broker.id必须是一个整数,且不可以和其他的kafak代理节点的值重复,即每个kafka节点为一个broker,拥有唯一的id值
3,单机多BROKER 集群配置:
新生成几个配置文件config/server1.properties、config/server2.properties。
然后修改里面的配置文件broker.id、 log.dir、 listeners分别指定不同的broker、日志文件位置监听端口。
config/server1.properties:
broker.id=1
listeners=PLAINTEXT://:8083
log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1
config/server2.properties:
broker.id=2
listeners=PLAINTEXT://:8085
log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2
然后分别使用这些配置文件启动即可。
步骤八:启动Kafka
按:windows + r,输入cmd,新打开dos,进入kafka安装目录
输入:
.\bin\windows\kafka-server-start.bat .\config\server.properties
启动成功:
如果出现启动时错误: Found directory /home/admin/kafka_2.12-1.1.0/bin, 'bin' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for deletion).
错误原因:server.properties里的配置log.dir路径不对
测试和使用
- 创建主题
方法1:dos创建
另外开一个dos窗口,输入如下命令(命令中yantopic 是自己命名的topic名称):
> e:
> cd E:\tool\kafka\kafka2.12
输入:
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic
注意不要关掉窗口
查看现有的主题,输入命令:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
方法2: 使用shell创建
shift+鼠标右键,选中“在此处打开命令行窗口(W)”,打开命令行
输入以下命令,创建一个topic主题: test
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
再查看创建的主题列表:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
可以看到上面那个创建的topic和现在创建的topic
- 测试生产者与消费者
启动生产者,可以发送消息:
打开dos窗口,输入命令:
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
往里面输入消息
接收消息
窗口不要关闭,同上新打开一个shell窗口,输入命令:
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
接收:
总结:
整个过程不难,但是步骤多一些,需要耐心去操作。在windows环境下安装好fakfa后,就可以开始进一步学习kafka了。