虚拟机搭建Kafka

目录

1.下载Kafka，上传到Linux并解压。

2.启动Kafka自带Zookeeper。

3.启动Kafka Broker。

4.创建Topic。

5.启动Kafka消费者。

6.启动Kafka生产者。

---

1.下载Kafka，上传到Linux并解压。

• http://kafka.apache.org/downloads 选择自己需要的版本进行下载。
• 启动VM虚拟机，我使用已经装好的CentOS7
• 使用Xshell连接Linux系统。使用Xftp将下载的Kafka上传到Linux系统
• 解压Kafka安装包：

  tar -zxvf kafka_2.12-2.5.0.tgz

   

2.启动Kafka自带Zookeeper。

• 解压后目录如下图所示
• 启动Kafka自带zookeeper。

  bin/zookeeper-server-start.sh config/zookeeper.properties 

   

3.启动Kafka Broker。

• 重新启动一个窗口，启动Kafka Broker

• bin/kafka-server-start.sh config/server.properties

   

4.创建Topic。

• Kafka通过订阅/消费模式来实现。在此创建topic

•  bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test1 --partitions 3 --replication-factor 1

   

5.启动Kafka消费者。

• bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1

• 0.8版本之前，Kafka的offset是写在zk中的，因此启动消费者需要 --zookeeper <>参数。之后的版本offset直接保存在broker中，因此直接使用 --bootstrap-server即可。

6.启动Kafka生产者。

• bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test1
  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
  

• 这两个命令都是可以的。broker-list是和 --zookeeper<>一起的老命令。而--bootstrap-server是Kafka修改之后的新命令，启动消费者和生产者都是用改该命令参数即可。
• 生产者启动之后，发送消息即可在消费者处观察到 消息被消费。