安装和使用Kafka组件

序言

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

Windows安装

安装Zookeeper

（1）下载地址：https://zookeeper.apache.org/

或者直接进入：https://zookeeper.apache.org/releases.html，下载后解压。

修改配置文件的数据和日志地址

首先需要复制zoo_sample.cfg改为zoo.cfg
修改以下信息：

dataDir=C:\\Application\\apache-zookeeper-3.6.1-bin\\data
dataLogDir=C:\\Application\\apache-zookeeper-3.6.1-bin\\log

cmd执行：./bin/zkServer.cmd

安装Kafka

下载地址：https://kafka.apache.org/downloads#2.5.0，下载并且解压。

修改配置文件server.properties

log.dirs=C:\\Application\\kafka_2.12-2.5.0\\kafka-logs

启动

.\bin\windows\kafka-server-start.bat .\config\server.properties

主题

# 创建主题
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 查看主题
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

消费者和生产者，分别启动窗口不要关闭

# 生产者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
# 消费者
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

在生产者输入信息后，查看消费者窗口

其他操作，使用API完成。上面演示说明，kafka搭建完成。

Linux安装

kafka下载地址:kafka
zookeeper下载地址：zookeeper

上传到服务器后解压

tar -zxvf apache-zoo