kafka HA(高可用搭建)

1、进入kafka的安装目录下的config目录


2、修改 server.properties 配置文件

[hadoop@hadoop02 config]$ vim server.properties 

修改内容:zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181


3、从hadoop02发送kafka的安装文件到hadoop03,hadoop04,hadoop05

        [hadoop@hadoop02 apps]$ scp -r kafka_2.11-1.1.0/ hadoop03:$PWD

        [hadoop@hadoop02 apps]$ scp -r kafka_2.11-1.1.0/ hadoop04:$PWD

        [hadoop@hadoop02 apps]$ scp -r kafka_2.11-1.1.0/ hadoop05:$PWD

4、分别进入不同的节点修改server.properties 配置文件


    进入hadoop03修改为下图

    

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
您好!要搭建 Kafka高可用集群,您需要进行以下步骤: 1. 安装并配置 ZooKeeper:Kafka 使用 ZooKeeper 来管理集群的元数据和协调功能。您需要安装 ZooKeeper 并配置其集群模式。确保 ZooKeeper 集群正常运行,并且具有足够的容错性。 2. 下载和解压 Kafka:从 Apache Kafka 的官方网站下载并解压最新版本的 Kafka。 3. 配置 Kafka:在每个 Kafka 节点上,编辑 Kafka 的配置文件 `config/server.properties`。确保以下配置项正确设置: - `broker.id`:每个节点的唯一标识。 - `listeners`:指定 Kafka 监听的主机和端口。 - `log.dirs`:指定 Kafka 存储日志文件的目录。 - `zookeeper.connect`:指定连接到 ZooKeeper 集群的地址。 4. 启动 Kafka 节点:在每个节点上,使用命令行启动 Kafka 服务器。您可以使用以下命令: ``` bin/kafka-server-start.sh config/server.properties ``` 5. 创建 Kafka Topic:使用 Kafka 提供的命令行工具 `kafka-topics.sh` 创建您需要的主题。 6. 配置副本:为了实现高可用性,您需要为每个主题配置多个副本。使用 `kafka-topics.sh` 工具来创建多个副本。 7. 测试集群:使用 Kafka 提供的命令行工具发送和接收消息,来测试您的 Kafka 集群是否正常工作。 这些是搭建 Kafka 高可用集群的基本步骤。请注意,在生产环境中搭建高可用集群时,还需要考虑更多因素,如数据备份、监控和故障恢复等。希望对您有所帮助!如果您有任何进一步的问题,请随时问我。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值