kafka部署与使用讲解

参考文章：

Kafka 安装及快速入门
Kafka集群的安装部署和实践应用

部署

1. 上传文件至虚拟机并解压

2. 修改server.properties

   #标识id  节点要更换Id值
   broker.id=1
   #设置节点名称 不写会找不到节点   其他节点要修改
   host.name=master
   #设置日志保存地址
   log.dir=/data/logs/kafka
   #设置节点
   zookeeper.connect=master:2181,slave1:2181
   

3. 配置节点的kafka ，记得修改broker.id，host.name

   scp -P 52008 -r /data/program/kafka/ root@slave1:/data/program/kafka/

4. 启动所有节点zookeeper bin/zookeeper-server-start.sh -daemon config/zookeeper.properties -daemon：后台运行

5. 启动所有节点kafka bin/kafka-server-start.sh config/server.properties

使用

Topic 主题的基本操作

1. 创建Topic

   使用 kafka-topics.sh 创建单分区单副本的 topic test

   bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 2 --topic test

   ​ partitions：分区数

   ​ replication-factor:控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数

2. 查看 topic 列表：

bin/kafka-topics.sh --list --zookeeper master:2181

3. 查看主题信息：

./kafka-topics.sh --describe --zookeeper master:2181 --topic test

4. 删除主题：

./kafka-topics.sh --delete --zookeeper master:2181 --topic test

5. 生成消息：

bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic test
6. 消费消息
这里使用slave1节点来获取消息队列
bin/kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic test --from-beginning