CentOS7安装部署Kafka+Zookeeper集群

最新推荐文章于 2023-04-04 12:01:27 发布

xfh_pq_yue

最新推荐文章于 2023-04-04 12:01:27 发布

阅读量314

点赞数

分类专栏：大数据平台文章标签： kafka zookeeper 大数据

本文链接：https://blog.csdn.net/weixin_45861518/article/details/107728750

版权

本文详细介绍了如何在CentOS7环境下部署Kafka和Zookeeper集群。首先确保已安装JDK和Zookeeper集群，接着解压Kafka并修改配置文件，设置broker.id和监听器。启动Kafka前需启动Zookeeper。通过jps检查进程状态。接着创建生产者和消费者进行消息传递测试。最后，设置Kafka开机自启动，创建服务脚本并添加到自启动列表。

摘要由CSDN通过智能技术生成

Kafka是一个消息中间件，实现zookeeper集群中的不同节点之间的消息同步，记录一个简单的Kafka+zookeeper集群的部署。

环境部署

kafka+zookeeper集群的部署，环境部署前提有：jdk和zookeeper集群，具体关于如何创建虚拟机、配置网络、安装部署jdk和安装部署zookeeper集群传送 CentOS7安装部署Dubbo+Zookeeper集群。

安装部署Kafka

上传压缩包解压
修改kafka的config/目录下的server.xml文件，其中broker.id按顺序标记为1/2/3，并将listener和advertised.listerner注释去掉且设置为本机的ip和默认端口9092即可，如下:
[root@Test ~]# vi /root/test/kafka_2.13-2.5.0/config/server.properties

可以直接出将解压后的kafka文件直接传给另外两个节点，然后修改上述文件即可
然后启动kafka（必须先启动zookeeper），进入bin目录下不加参数-daemon启动如果最后一行是正常started
[root@Test bin]# ./kafka-server-start.sh /root/test/kafka_2.13-2.5.0/config/server.properties

则可加-daemon后台运行启动，利用jps可以查看是否正常启动。
./kafka-server-start.sh -daemon /root/test/kafka_2.13-2.5.0/config/server.properties
模拟生产者和消费者实现消息传递，首先创建主题topic（ip是注册中心的ip）
[root@Test bin]# ./kafka-topics.sh --create --zookeeper 192.168.1.137:2181 --replication-factor 1 --partitions 1 --topic test