kafka集群安装--自动修改broker.id

安装kafka机群时,每个节点的broker.id不一样,如果一个个修改太麻烦,需要个好的方法,能够批量操作

1,先修改好kafka的server.properties,默认的broker.id=0不用修改
2,将修改好kafka的server.properties,同步到各节点上
3,运行下面脚本程序(注:运行该脚本的节点,能够免密码登录其他节点)

#!/bin/bash
# 各节点的hostname
nodes=(xnode1 xnode2 xnode3 xnode4)

 echo " --------------- 启动  kafka ---------------"

for node in ${nodes[*]} ;do
  nodeNum=`echo $node  |tr -cd "[0-9]"`
  sedcmd="ssh root@$node sed -i s/broker.id=[0-9]/broker.id=${nodeNum}/g  $KAFKA_HOME/config/server.properties "
  #第一次运行后,可注释掉下面一行
  eval $sedcmd
  echo "==== kafka node $node borker.id is"
  ssh root@$node cat $KAFKA_HOME/config/server.properties  | grep 'broker'
  echo "start kafka $node"
  cmd="ssh root@$node   $KAFKA_HOME/bin/kafka-server-start.sh  -daemon  ${KAFKA_HOME}/config/server.properties "
  eval $cmd
done

上面脚本会用hostname最后的数字编号,修改server.properties的broker.id,并启动kafka服务

xnode1 的broker.id=1
xnode2 的broker.id=2
xnode3 的broker.id=3
xnode4 的broker.id=4

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
安装kafka集群需要以下步骤: 1. 安装docker和docker-compose(如果已经安装可以跳过此步)。 2. 创建一个kafka集群的docker-compose.yml文件。该文件包含了kafka集群的配置信息,可以参考以下模板: ```yaml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka1: image: wurstmeister/kafka ports: - "9091:9091" environment: KAFKA_ADVERTISED_HOST_NAME: {kafka1的ip地址} KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_BROKER_ID: 1 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 kafka2: image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: {kafka2的ip地址} KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_BROKER_ID: 2 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ``` 3. 在命令行中进入到包含docker-compose.yml文件的目录,执行以下命令启动kafka集群: ```bash docker-compose up -d ``` 4. 验证kafka集群是否正常运行。可以通过在kafka1或kafka2容器中执行以下命令来创建一个测试主题: ```bash docker exec -it {kafka容器名称} bash ``` ```bash kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 2 --zookeeper zookeeper:2181 ``` ```bash kafka-console-producer.sh --topic test-topic --broker-list kafka1:9091,kafka2:9092 ``` ```bash kafka-console-consumer.sh --topic test-topic --bootstrap-server kafka1:9091,kafka2:9092 --from-beginning ``` 以上命令中,kafka容器名称可以通过docker ps命令查看。 5. 如果测试主题创建并且可以正常发送和接收消息,则说明kafka集群已经成功安装并运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值