我认识的kafka

Kafka的下载安装：

1.去Kafka的官网：https://kafka.apache.org/
2.点击DownLoad Kafka
3.选择一个镜像下载，我选择的镜像是：
https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz

直接解压就行，免安装，解压后的目录如下：

Kafka的使用必须配合Zookeeper，新版本的Kafka本身已经自带了Zookeeper，linux下，直接进入bin目录就有对应的命令，windows下进入/bin/windows目录下；

1.启动zookeeper：zookeeper-server-start.bat  ../../config/zookeeper.properties
2.启动ZooInspector工具查看zookeeper数据： java -jar zookeeper-dev-ZooInspector.jar  //执行成功后，会弹出java ui client
3.启动Kafka：kafka-server-start.bat ../../config/server.properties
4.另启动窗口执行创建topic命令：kafka-topics.bat --create --topic quickstart-events --bootstrap-server localhost:9092
5.执行命令查看topic：kafka-topics.bat --describe --topic quickstart-events --bootstrap-server localhost:9092
6.执行命令进入生产者端：kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
7.可以输入数据
8.执行命令进入消费者端：kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
9.可以看到输入的数据

zookeeper启动成功：

Kafka启动成功：

Kafka的Topic创建成功：

创建监听topic为quickstart-events的消费者：

创建生产者，并对quickstart-events的topic写入数据

消费者监听到数据：

ZooInspector工具看到创建的topic
工具的下载地址：https://download.csdn.net/download/jy317358306/13065170

以上就是针对Kafka的下载安装和控制台启动以及创建topic的基本操作了。

集群部署Kafka

当需要部署集群时，copy多分配置文件，启动时指定不同配置文件即可，修改以下参数

 broker.id=1 // 实例ID，必须修改，唯一
 listeners=PLAINTEXT://:9093 // 集群在同一物理机下，必须修改
 log.dir=/tmp/kafka-logs-1 // 同理集群下，区分不同实例的不同日志目录
 zookeeper.connect=hostname:port //kafka集群依赖的zookeeper集群，如果多台zookeeper以逗号隔开hostname1:port1,hostname2:port2,hostname3:port3，如果要指定目录则hostname1:port1,hostname2:port2,hostname3:port3/chroot/path在最后指定目录

启动了三个borker实例后创建一个topic：kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

查看刚才创建的topic的信息：kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic

生产并消费消息
生产：kafka-console-producer.bat --broker-list localhost:9093 --topic my-replicated-topic
消费：kafka-console-consumer.bat --bootstrap-server localhost:9093 --topic my-replicated-topic --from-beginning

如果消费者监听的topic不存在，会出现警告：

kafka的中文官方网站：

https://kafka.apachecn.org/

Kafka的英文官方网站：

https://kafka.apache.org/

中文文档更新比较滞后，且部分新特性无法找到，所以还是建议以英文官网为主，中文文档作为对照去看。

监控管理工具

Kakfa自身未提供图形化的监控管理工具，市面上有很多开源的监控管理工具，但都不怎么成熟可靠。
这里给介绍一款稍可靠的工具。
Kafka Offset Monitor
https://github.com/quantifind/KafkaOffsetMonitor
可以实时监控：

Kafka集群状态
Topic、Consumer Group列表
图形化展示topic和consumer之间的关系
图形化展示consumer的Offset、Lag等信息

它是一个jar 包，使用很简单

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka
--zk zk-server1,zk-server2 \
--port 8080 \
--refresh 10.seconds \
--retain 2.days

0.2.0 版本启动命令

java