kafka安装步骤
1、安装 kafka之前需要先安装 JDK,可以参考https://jingyan.baidu.com/article/f96699bb163475894e3c1be4.html
2、下载kafka
下载路径http://kafka.apache.org/downloads
3、解压kafka到指定目录 E:\kafka_2.11-1.1.1.1
4、在目录下新建一个logs文件夹
5、 进入config目录,编辑 server.properties文件
修改log.dirs=E:\kafka_2.11-1.1.1.1\logs
修改zookeeper.connect=localhost:2181。表示本地运行
修改broker.id=1
修改kafka安装目录中的window下的kafka-server-start 文件 ,按照图中的新增
在操作7步骤之前保证zk服务已经启动
7、进入Kafka安装目录 E:\kafka_2.11-1.1.1.1 按下Shift+右键,选择“在此处打开Powershell窗口(S)”(如果没有此选项,在此处打开命令窗口),打开命令行
运行:.\bin\windows\kafka-server-start.bat .\config\server.properties
有可能出现报错
解决报错: 在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat为%CLASSPATH%加上双引号
再次运行 .\bin\windows\kafka-server-start.bat .\config\server.properties
到zk的目录双击
输入 ls brokers/ids
返回列表有自己的brokerid说明启动成功
搭建成功了
创建主题
之前的窗口不关闭,重新进入Kafka安装目录 E:\kafka_2.11-1.1.1.1 按下Shift+右键,选择“在此处打开Powershell窗口(S)”(如果没有此选项,在此处打开命令窗口),打开命令行
输入以下命令:
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test03
返回
表示创建主题成功。可以到zk目录节点中去查看
在zk的目录下输入 ls /brokers/topics 可以查看创建成功的主题
启动生产者服务
重新打开窗口输入: .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test06
启动消费者
再重新开窗口 输入: .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test06 --from-beginning
![在这里插入图片描述](https://img-blog.csdnimg.cn/3dbbf335b17149cf9b1ae3a0477110a9.png
log日志说明:
(1)在启动kafka的时候会在kafka安装路径的同一个盘,我的kafka装在E盘中创建一个logs文件夹
(2)打开server.properties查看 log.dirs
默认位置是 log.dirs=/tmp/kafka-logs,这个路径是kafka安装路径的同一个盘,我的kafka装在E盘,tmp文件夹就生成在E盘中,修改
log.dirs=E:/kafka_2.11-1.1.1.1/kafka-logs ,然后关闭之前启动的kafa实例,重新启动,再查看日志路径发生改变。
kafka默认数据会保存7天,这也可以通过server.properties查看或修改
启动kafka时问题
在输入 .\bin\windows\kafka-server-start.bat .\config\server.properties时提示此时不应有 \jdk1.8.0\lib
问题是 环境变量里面配置了classpath并且配置的路径里面是带有lib的,把classpath的配置删除后再测试就好了。
创建生产者和消费者后出现问题
生产者和消费者客户端都出现这个问题:Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
解决策略:找到配置文件server.properties