kafka 启停脚本

新建kf.sh 文件

#!/bin/bash
case $1 in
"start"){
        for i in Bigdata04 Bigdata05 Bigdata06
        do
                echo ---------- kafka $i 启动 ------------
                ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
        done
};;
"stop"){
        for i in Bigdata04 Bigdata05 Bigdata06
        do
                echo ---------- kafka $i 停止 ------------
                ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh -daemon /opt/module/kafka/config/server.properties"
        done
};;
esac

注意,写脚本之前,一定要修改 :

https://blog.csdn.net/weixin_45417821/article/details/108134213

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Kafka 是一个分布式流处理平台,常用于构建实时数据管道和消息队列。在Kafka中,消费者可以通过创建多个实例(也称为“消费者组”)来并行消费主题中的消息,提高消费吞吐量。启动和停止多实例消费者通常涉及以下几个步骤: 1. **配置消费者组**: 每个消费者实例都需要一个特定的消费者组标识。在生产者发送消息时,Kafka会根据这些组将消息分发到各个组内的所有消费者。 2. **创建消费者实例**: 使用Kafka的Java API、Python SDK或其他客户端库,创建多个`KafkaConsumer`实例,每个实例指定了消费者组名。 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "my-consumer-group"); // 其他配置如自动偏移恢复等 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 3. **订阅主题**: 每个消费者实例需要订阅他们所属的消费者组应该消费的主题。 ```java consumer.subscribe(Arrays.asList("my-topic")); ``` 4. **启动消费者**: 调用`consumer.poll()`方法定期从Kafka拉取消息。这会持续监听直到消费者关闭。 ```java while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { // 处理消息 } } ``` 5. **停止消费者**: 当不再需要消费时,调用`consumer.close()`方法关闭消费者实例。 ```java consumer.close(); ``` 6. **管理多个实例**: 如果有多个实例,可以通过手动或脚本的方式启动和停止它们,确保每个实例独立运行,避免资源冲突。 **相关问题--:** 1. 如何设置Kafka的消费者组配置? 2. Kafka如何保证多实例消费者之间的消息均衡分配? 3. 如何监控和管理大规模Kafka消费者实例?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值