kafka安装-windows环境

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。

 

window环境下如何安装kafka呢？

 

下载地址：

Zookeeper下载地址：

 

http://archive.apache.org/dist/zookeeper/

选择一个版本进行下载，比如：

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

Kafka下载地址：

https://archive.apache.org/dist/kafka/

选择一个版本进行下载，比如：

https://archive.apache.org/dist/kafka/2.0.0/kafka_2.12-2.0.0.tgz

 

安装步骤

步骤一：安装jdk环境：

  JDK，基本都装了，忽略

步骤二：下载并解压Zookeeper

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper。

解压下载的文件zookeeper-3.4.13.tar.gz，并重命名解压后的文件为zookeeper3.4.13,复制到指定位置（此处以E:\tool\kafka\zookeeper3.4.13为例）

 

步骤三：配置Zookeeper

将 E:\tool\kafka\zookeeper3.4.13\conf下的zoo_sample.cfg文件更改为zoo.cfg;
打开“zoo.cfg”找到并编辑dataDir=E:/tool/kafka/zookeeper3.4.13/tmp
注意此处配置的路径一定是“/”而不是“\”,不然会启动后会报错并自动关闭服务。

 

步骤四：配置Zookeeper环境变量

我的电脑→右键选择属性→高级系统设置→环境变量：

选择新建系统环境变量

配置ZOOKEEPER_HOME：

输入解压的目录：

E:\tool\kafka\zookeeper3.4.13

在系统环境变量Path中，增加“%ZOOKEEPER_HOME%\bin”

 

步骤五：启动Zookeeper

按： windows+r， 输入cmd, 打开dos窗口，输入命令：

 zkServer

启动成功：
注意，在使用kafka 的时候，一定保持窗口不能关闭。

 

步骤六：下载并解压Kafka

解压下载的文件kafka_2.12-2.0.0.tgz，并重命名为kafka2.12，并复制到指定位置（此处以E:\tool\kafka\kafka2.12为例）

步骤七：配置Kafka

打开E:\tool\kafka\kafka2.12\config\server.properties，里面的路径用 /
1，编辑log.dirs= E:/tool/kafka/kafka2.12/logs 或是：log.dirs= E:\\tool\\kafka\\kafka2.12\\logs
 

2，编辑broker.id=1。 配置broker.id必须是一个整数，且不可以和其他的kafak代理节点的值重复，即每个kafka节点为一个broker，拥有唯一的id值

 

3，单机多BROKER 集群配置：

     新生成几个配置文件config/server1.properties、config/server2.properties。

    然后修改里面的配置文件broker.id、 log.dir、  listeners分别指定不同的broker、日志文件位置监听端口。

config/server1.properties:
    broker.id=1
    listeners=PLAINTEXT://:8083
    log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1
 
config/server2.properties:
    broker.id=2
    listeners=PLAINTEXT://:8085
log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2

然后分别使用这些配置文件启动即可。

 

步骤八：启动Kafka

按：windows + r，输入cmd，新打开dos，进入kafka安装目录

输入：

.\bin\windows\kafka-server-start.bat  .\config\server.properties

启动成功：

如果出现启动时错误： Found directory /home/admin/kafka_2.12-1.1.0/bin, 'bin' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for deletion).

错误原因：server.properties里的配置log.dir路径不对

 

 

测试和使用

•  创建主题

方法1：dos创建

另外开一个dos窗口，输入如下命令(命令中yantopic 是自己命名的topic名称)：

> e:
> cd E:\tool\kafka\kafka2.12

输入：

 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic

注意不要关掉窗口
查看现有的主题，输入命令：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

 

方法2： 使用shell创建

shift+鼠标右键，选中“在此处打开命令行窗口（W）”，打开命令行

输入以下命令，创建一个topic主题： test

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

再查看创建的主题列表：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

可以看到上面那个创建的topic和现在创建的topic

 

• 测试生产者与消费者

 启动生产者,可以发送消息：

打开dos窗口，输入命令：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

  往里面输入消息

 

接收消息

窗口不要关闭,同上新打开一个shell窗口，输入命令：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

接收：

 

总结：

    整个过程不难，但是步骤多一些，需要耐心去操作。在windows环境下安装好fakfa后，就可以开始进一步学习kafka了。