kafka入门

kafka入门

操作系统：ubuntu 18.04

1. 下载安装

1.1 安装zookeeper

由于kafka依赖zookeeper，在安装kafka之前需要安装zookeeper。

zookeeper下载地址： https://zookeeper.apache.org/releases.html#download

下载之后解压到指定位置即可。

1.2 安装Java jdk

同时，kafka依赖于java环境，要求jdk版本最低为1.8。ubuntu环境下安装jdk 1.8的环境可以参考:基于Ubuntu系统的Java Web应用环境搭建

1.3 安装kafka

安装kafka只需要下载解压即可。

kafka下载地址： http://kafka.apache.org/downloads

选择最新版本的kafka下载之后解压即可。

2. 安装验证

2.1 启动zookeeper

在启动kafka之前需要启动zookeeper， 使用命令：

sudo /usr/local/zookeeper/bin/zkServer.sh start

2.2 启动kafka

2.2.1 创建topic

使用以下命令创建一个kafka的topic

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic kafka-test-topic

最终控制台会输出：

Created topic "kafka-test-topic".

表示topic创建成功

2.2.2 查看kafka中所有的topic

使用命令:

sudo /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181

然后控制台会输出当前所有的kafka的topic

2.2.3 生产与消费

创建默认的kafka生产者

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka-test-topic

然后会进入到控制台，输入相应的信息即可产生相应的消息，示例如下图：

在另一个控制台启动kafka默认的消费者，获取当前topic的消息

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafka-test-topic --from-beginning

然后屏幕上输出当前topic所有的消息，如下图所示：