kafka下载与安装教程

1.定义

Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。
Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2.特性

• 高吞吐量
  • 页缓存
  • 追加写入
  • 零拷贝
• 高可靠性
  • 消息持久化，副本机制
  • 解耦消息生产和消息消费
  • 消息重演
• 高可用性
  • 负载均衡
  • 故障转移
• 高伸缩性
  • 集群状态交由ZooKeeper管理

3.使用场景

• 消息投递
  • 能够很好的代替传统的message broker。它提供了更强大的吞吐量，内建分区，复本，容错等机制来解决大规模消息处理型应用程序
• 日志收集
  • 一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer
• 运营指标
  • kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告
• 流式处理
  • 比如spark streaming和storm

4.1.下载jar包

链接: https://kafka.apache.org/downloads.html.

4.2.解压到指定的文件夹

解压后进入到解压后文件夹的根目录中
创建两个文件夹，后续使用

4.3.修改配置文件

4.3.1.kafka_2.12-3.2.1\config\zookeeper.propertis

注意：文件分隔符是\\

4.3.2.kafka_2.12-3.2.1\config\server.properties

4.4.启动kafka内置的zookeeper

在根目录下打开cmd或者PowerShell输入命令

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

成功页面

页面不要关

4.5.启动kafka服务

在根目录下打开cmd或者PowerShell输入命令

.\bin\windows\kafka-server-start.bat .\config\server.properties

成功页面

页面不要关

4.6.创建一个名为 test1 的tiopic的测试主体 kafka

命令如下

.\bin\windows\kafka-topics.bat --create  --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test3

成功页面

4.7.创建生产消息的生产者

命令如下

 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test1

页面如下

页面不要关

4.8.创建消息消费者接收消息

命令如下

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test1 --from-beginning

页面如下

测试成功！！！