Windows下kafka的下载安装

简介:

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

前提:需要Zookeeper,如没有安装Zookeeper的可以参考:https://blog.csdn.net/qq_43222167/article/details/106096290

下载:

http://kafka.apache.org/downloads
注意:尽量下载Binary downloads类型的,不要下载源码,方便使用,也就是这个类型下的

解压后放入到文件夹中
注意:文件路径不要太长,之前我就是因为路径太长启动的时候报了错:【输入行太长。 命令语法不正确】

对配置文件的修改:
1.进入到kafka的config的server.properties中

#存储到日志文件夹中
log.dirs=./logs

#本地的zookeeper
zookeeper.connect=localhost:2181

注意:这两个配置是你这个文件中本身就有的,找到修改即可,修改成功后复制一份到kafka的bin的windows下

先启动Zookeeper服务
随后进入到cmd中,进入到kafka的bin的windows下,使用命令:kafka-server-start.bat server.properties
启动成功

启动成功后会发现你的kafka中生成了logs目录

这里面的文件就是操作日志(配置的文件就是你kafka下的config下的log4j.properties)
如想改变日志路径可以修改它里面的log4j.appender.kafkaAppender.File

还有消除不断生成日志的问题,配置中改log4j.logger.kafka.controller属性成INFO,controllerAppender即可