kafka集群搭建

最新推荐文章于 2024-11-03 12:02:27 发布

minmax329

最新推荐文章于 2024-11-03 12:02:27 发布

阅读量76

点赞数

文章标签： linux kafka java Powered by 金山文档

本文链接：https://blog.csdn.net/minmax329/article/details/129000164

版权

本文介绍了如何下载ApacheKafka并进行解压，重点是配置启动步骤，包括设置broker.id和Zookeeper集群连接。接着，文章详细讲解了如何在多台机器上分发Kafka，以及创建和测试topic，包括producer和consumer的使用。

摘要由CSDN通过智能技术生成

注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大

通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压

二．配置启动

配置config/server.properties

配置broker.id从0开始，后面其他节点配置1,2,3,4等等

事先启动zookeeper集群，这里配置zookeeper集群的地址

zookeeper.connect=master:2181,slave1:2181,slave2:2181

将集群分发到其他机器，比如

scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/
scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/

这里注意修改broker.id

修改完配置以后在每个节点启动kafka

bin/kafka-server-start.sh config/server.properties

新建一个topic

./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 –create

查看当前的topic

在一个节点创建一个provider

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

在另外一个节点创建一个consumer

./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test

在provider输入信息，在consumer能接收到信息

关注