Kafka环境安装部署

Kafka简单介绍

Kafka是一种高吞吐量的分布式发布订阅消息系统

特征：

Kafka 是一种高吞吐量 的分布式发布订阅消息系统，有如下特性：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

高吞吐量  ：即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。

支持通过Kafka服务器和消费机集群来分区消息。

支持Hadoop并行数据加载。

具体的可至官网了解：http://kafka.apache.org/

环境搭建

1.JDK安装

   1)下载jdk  https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm

2)安装JDK

默认安装目录：C:\Program Files\Java\jdk1.8.0_231\

3)JDK环境变量配置

 a.我的电脑——属性——高级系统设置——高级——环境变量

b.系统变量——新建 变量名为JAVA_HOME,变量值为JAVA JDK安装目录

c.系统变量——新建  变量名CLASSPATH，变量值 .;%JAVA_HOME%\lib

d.选择“系统变量”中变量名为“Path”的环境变量，双击该变量，在原来变量后追加 %JAVA_HOME%\bin

测试JDK环境变量的配置成功与否。在DOS命令行窗口输入“JAVAC”，输出帮助信息即为配置正确

2.Zookeeper 下载及环境配置

1）Zookeeper 下载

下载地址：Apache ZooKeeper

点击download，进入下载页面

选择 下载版本，一定要下载binary版本，不要下载Source版本

选择其中任意的一个下载链接进行下载

2）ZooKeeper配置

创建一个文件夹，用于存放Kafka和zookeeper

将下载的zookeeper压缩包解压，放入存放存放Kafka和zookeeper的文件夹中

（我是在H盘创建了kafaka文件夹）

进入zookeeper解压后的文件夹，在conf文件夹下找到zoo_sample.cfg文件

 先将zoo_sample.cfg文件重命名为zoo.cfg

重命名后，打开zoo.cfg文件

进行以下两处修改

1、找到dataDir=/tmp/zookeeper 修改为

dataDir=H:\kafka\apache-zookeeper-3.6.2-bin\zookeeperdata

（路径仅为示例，可根据实际需要配置）

2、在最后一行添加 audit.enable=true代码，如果不添加，在启动zookeeper时，会出现disabled的错误

Zookeeper环境变量配置

电脑——属性——高级系统设置—环境变量

新建系统变量 ZOOKEEPER_HOME，变量值为zookeeper路径

系统变量—Path—编辑

然后新建 %ZOOKEEPER_HOME%\bin

3）Zookeeper 启动测试

以管理员身份运行 cmd 命令

输入命令 zkserver

会看到zookeeper绑定2181端口，并且ZooKeeper audit is enabled的消息

注：zookeeper的默认端口为 2181

3.Kafaka下载及环境部署

1）Kafka下载

Apache Kafka

选择binary版本下载

2）Kafka环境配置

将下载的kafka压缩包解压

在config文件夹中，找到server.properties文件，并打开

在server.properties文件中找到 log.dirs

将log.dirs=/tmp/kafka-logs改为

log.dirs=H:\kafka\kafka_2.13-2.7.0\kafka-logs

（此处路径仅为示例，可根据实际需要配置）

3）Kafaka启动测试

提示：请确保启动kafka服务器前，Zookeeper实例已经在运行，因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。

以管理员身份运行cmd

以cd 命令进入kafka 文件夹

运行命令 .\bin\windows\kafka-server-start.bat .\config\server.properties

4）Kafka 可视化工具

安装kafkatools工具，连接本地kafaka，可测试kafaka是否真正启动成功