MAC 安装kafka
安装
1、下载解压
下载地址:http://kafka.apache.org/downloads,我这里选择的是2.4.1,然后解压。
kafka版本说明:
- 前面的版本号是编译 Kafka 源代码的 Scala 编译器版本,如上图中的2.11。
Kafka 服务器端的代码完全由 Scala 语言编写,Scala 同时支持面向对象编程和函数式编程,用 Scala 写成的源代码编译之后也是普通的“.class”文件,因此我们说 Scala 是 JVM 系的语言。
- 真正的 Kafka 版本号实际上是 2.4.1。
那么这个 2.4.1 又表示什么呢?前面的 2 表示大版本号,即 Major Version;中间的 4 表示小版本号或次版本号,即 Minor Version;最后的 1 表示修订版本号,也就是 Patch 号。Kafka 社区在发布 1.0.0 版本后特意写过一篇文章,宣布 Kafka 版本命名规则正式从 4 位演进到 3 位,比如 0.11.0.0 版本就是 4 位版本号。
2、添加环境变量
将该安装包解压到Mac系统本地磁盘的某个路径,这里我的路径是:/Users/xxx/xxx/kafka_2.11-2.4.1
,如果后续想要更加方便的输入命令,可以将Kafka的bin目录增加到系统环境变量中。
3、创建目录
在kafka主目录下创建一个文件夹logs或data,用于存放相关的日志或数据,由于kafka会依赖于zookeeper,我们可以使用kafka目录中自带打包和配置好的Zookeeper,也可使用单独的zk。
如果要单独使用zk,修改config/server.properties
中的zk配置即可:
4、修改配置
修改主目录下的config文件夹下的zookeeper.properties文件,修改如下类似配置:
dataDir=/Users/heguitang/workspace/kafka_2.11-2.4.1/logs/zookeeper
修改主目录下的config文件夹下的server.properties文件,修改如下类似配置:
log.dirs=/Users/heguitang/workspace/kafka_2.11-2.4.1/logs/kafka-logs
使用
1、启动服务
在Mac终端下,分别依次开启两个命令行窗口,并切换到kafka的主目录(kafka_2.11-2.4.1)下,分别执行如下命令开启zookeeper和kafka:
启动zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka:
bin/kafka-server-start.sh config/server.properties
启动成功后,默认情况下zookeeper会占用2181端口,kafka会占用9092端口。
注意:观察启动的时候,控制台有没有日志报错现象。
2、简单验证
创建一个名为test的Topic并进行查看,分别输入如下两个命令创建并查看topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181
在创建好topic后,可以再分别依次开两个命令行窗口,启动生产者与消费者:
启动生产者:
bin/kafka-console-producer.sh --topic test --broker-list localhost:9092
启动消费者:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
生产者和消费者启动成功后,在生产者中输入一段文字,可以看见在消费者命令行窗口中已经自动接收了消息。
3、图形化界面
对于一些习惯了使用图形化工具的小伙伴来说,可以下载kafka图形化的工具,可以更容易的查看和处理kafka的相关信息,这里可以使用Kafka Tool工具,下载链接如下:https://www.kafkatool.com/download.html