kafka集群的搭建

在上篇zookeeper集群的搭建中,我们已经完成了zookpeeper集群的搭建,本篇我们将讲解如何搭建kafka集群,并把kafka集群接入到zookpeeper集群。
软件环境:

  • linux服务器多台
  • 已经搭建好zookpeeper集群
  • kafka_2.9.2-0.8.1.1.tgz

zookpeeper集群我们已经搭建好,kafka_2.9.2-0.8.1.1.tgz的下载地址:kafka_2.9.2-0.8.1.1.tgz
在/usr/local目录下创建kafka目录,在kafka目录创建kafka存放消息的目录mkdir kafkaLogs,上传kafka_2.9.2-0.8.1.1.tgz到kafka目录。
tar -zxvf kafka_2.9.2-0.8.1.1.tgz
cd kafka_2.9.2-0.8.1.1/config/
配置kafka的服务项server.properties,vim server.properties
修改项
broker.id=0
port=19092
host.name=10.11.146.233
log.dirs=/tmp/kafka-logs
zookeeper.connect=10.11.146.233:12181,10.11.146.234:12181,10.11.146.235:12181
添加项(在log.retention.hours下添加)
message.max.bytes =5048576
default.replication.factor =2
replica.fetch.max.bytes =5048576
配置项完成后,进入kafka的bin目录,运行./kafka-server-start.sh -daemon ../config/server.properties启动kafka服务。
服务启动后,我们可以通过./kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test创建对话,通过./kafka-console-producer.sh –broker-list localhost:9092 –topic test创建生产者,通过./kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning创建消费者。创建完成后,在生产者输入消息,在消费者便会输出消息。
kafka更多操作可以参考kafka API

要Windows上搭建Kafka集群,你需要按照以下步骤进行操作: 1. 下载Kafka安装包并解压缩。你可以在中找到Windows下的安装包和详细教程。 2. 配置Zookeeper集群Kafka依赖于Zookeeper进行集群管理。你可以在Kafka安装目录下的config文件夹中找到zookeeper.properties文件。打开该文件并配置Zookeeper集群的地址和端口。 3. 配置Kafka集群。你可以在Kafka安装目录下的config文件夹中找到server.properties文件。打开该文件并根据需要进行配置,比如监听地址、端口等。 4. 启动Zookeeper集群。可以使用命令行或者批处理文件启动Zookeeper集群。在命令行中执行"zookeeper-server-start.bat"命令,指定zookeeper.properties文件的路径,就可以启动Zookeeper集群。 5. 启动Kafka集群。使用命令行或者批处理文件启动Kafka集群。在命令行中执行"kafka-server-start.bat"命令,指定server.properties文件的路径,就可以启动Kafka集群。 6. 验证Kafka集群是否正常工作。你可以在命令行中执行"kafka-topics.bat --list --bootstrap-server localhost:9092"命令,验证是否能够列出Kafka集群中的主题。 这样,你就成功在Windows上搭建Kafka集群。希望这些步骤对你有帮助!<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [专栏大数据中windows下搭建kafka集群中需要用到的安装包](https://download.csdn.net/download/abc8125/86250322)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Windows下Kafka集群搭建](https://blog.csdn.net/HcJsJqJSSM/article/details/126752143)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值