Kafka简单介绍
Kafka是一种高吞吐量的分布式发布订阅消息系统
特征:
Kafka 是一种高吞吐量 的分布式发布订阅消息系统,有如下特性:
通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。
支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
具体的可至官网了解:http://kafka.apache.org/
环境搭建
1.JDK安装
1)下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm
2)安装JDK
默认安装目录:C:\Program Files\Java\jdk1.8.0_231\
3)JDK环境变量配置
a.我的电脑——属性——高级系统设置——高级——环境变量
b.系统变量——新建 变量名为JAVA_HOME,变量值为JAVA JDK安装目录
c.系统变量——新建 变量名CLASSPATH,变量值 .;%JAVA_HOME%\lib
d.选择“系统变量”中变量名为“Path”的环境变量,双击该变量,在原来变量后追加 %JAVA_HOME%\bin
测试JDK环境变量的配置成功与否。在DOS命令行窗口输入“JAVAC”,输出帮助信息即为配置正确
2.Zookeeper 下载及环境配置
1)Zookeeper 下载
下载地址:Apache ZooKeeper
点击download,进入下载页面
选择 下载版本,一定要下载binary版本,不要下载Source版本
选择其中任意的一个下载链接进行下载
2)ZooKeeper配置
创建一个文件夹,用于存放Kafka和zookeeper
将下载的zookeeper压缩包解压,放入存放存放Kafka和zookeeper的文件夹中
(我是在H盘创建了kafaka文件夹)
进入zookeeper解压后的文件夹,在conf文件夹下找到zoo_sample.cfg文件
先将zoo_sample.cfg文件重命名为zoo.cfg
重命名后,打开zoo.cfg文件
进行以下两处修改
1、找到dataDir=/tmp/zookeeper 修改为
dataDir=H:\kafka\apache-zookeeper-3.6.2-bin\zookeeperdata
(路径仅为示例,可根据实际需要配置)
2、在最后一行添加 audit.enable=true代码,如果不添加,在启动zookeeper时,会出现disabled的错误
Zookeeper环境变量配置
电脑——属性——高级系统设置—环境变量
新建系统变量 ZOOKEEPER_HOME,变量值为zookeeper路径
系统变量—Path—编辑
然后新建 %ZOOKEEPER_HOME%\bin
3)Zookeeper 启动测试
以管理员身份运行 cmd 命令
输入命令 zkserver
会看到zookeeper绑定2181端口,并且ZooKeeper audit is enabled的消息
注:zookeeper的默认端口为 2181
3.Kafaka下载及环境部署
1)Kafka下载
选择binary版本下载
2)Kafka环境配置
将下载的kafka压缩包解压
在config文件夹中,找到server.properties文件,并打开
在server.properties文件中找到 log.dirs
将log.dirs=/tmp/kafka-logs改为
log.dirs=H:\kafka\kafka_2.13-2.7.0\kafka-logs
(此处路径仅为示例,可根据实际需要配置)
3)Kafaka启动测试
提示:请确保启动kafka服务器前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。
以管理员身份运行cmd
以cd 命令进入kafka 文件夹
运行命令 .\bin\windows\kafka-server-start.bat .\config\server.properties
4)Kafka 可视化工具
安装kafkatools工具,连接本地kafaka,可测试kafaka是否真正启动成功