一、事先准备
安装运行Kafka之前,需要安装Java环境以及Zookeeper。
具体的参考:
1、Java安装教程
https://blog.csdn.net/ruben95001/article/details/55804664
2、Zookeeper安装教程
https://blog.csdn.net/ruben95001/article/details/76577483
3、Kafka安装教程
https://blog.csdn.net/ruben95001/article/details/76577591
二、运行
进入Kafka安装bin目录
1、启动zk
./zookeeper-server-start.sh ../config/zookeeper.properties
2、启动kafka
./kafka-server-start.sh ../config/server.properties
操作Kafka
1、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --partitions 1 --replication-factor 1 --topic test
2、查看topic
./kafka-topics.sh --list --zookeeper localhost:2181
3、生产消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
4、消费消息
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Kafka集群
1、复制两份配置文件
cp server.properties server-1.propertiescp server.properties server-2.properties
2、修改两份配置文件
broker.id=1listeners=PLAINTEXT://localhost:9093log.dirs=/tmp/kafka-logs-1
broker.id=2listeners=PLAINTEXT://localhost:9094log.dirs=/tmp/kafka-logs-2
附:参数常规配置
1、broker.id
每个broker的标志符,使用该参数表示。它的默认值是0,也可以被设置成其他任意整数。这个值在整个Kafka集群中必须是唯一的。
2、listeners
配置Kafka监听端口。
3、log.dirs
Kafka把所有的消息都保存在磁盘上,存放这些日志片段的目录是通过log.dirs指定的。是一组用逗号隔开的本地文件系统路径。如果指定了多个路径,那么broker会根据“最少使用”原则,把同一个分区的日志片段保存在同一个路径下。
3、启动集群
./kafka-server-start.sh ../config/server-1.properties
./kafka-server-start.sh ../config/server-2.properties
4、创建Topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic test-replicated-topic./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test-replicated-topic