kafka操作API(获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等)

实现kafka的管理端操作API步骤如下:

1.添加pom依赖:
<dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>1.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.12</artifactId>
            <version>1.1.0</version>
        </dependency>
2.编写java操作语句:
import com.com.wj.kafkaAPI.conf.KafkaConsumerConfig;
import kafka.admin.AdminClient;
import kafka.admin.AdminUtils;
import kafka.admin.RackAwareMode;
import kafka.cluster.Broker;
import kafka.cluster.Cluster;
import kafka.consumer.ConsumerConfig;
import kafka.consumer.KafkaStream;
import kafka.coordinator.group.GroupOverview;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.javaapi.consumer.ZookeeperConsumerConnector;
import kafka.server.ConfigType;
import kafka.utils.ZkUtils;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.security.JaasUtils;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.autoconfigure.condition.ConditionalOnExpression;
import org.springframework.stereotype.Component;
import scala.collection.JavaConversions;
import scala.collection.Map;
import scala.collection.Set;
import java.io.IOException;
import java.util.*;

public class ConsoleApi {
   
    @Autowired
    private  KafkaConsumerConfig consumerConfig;
    private  ZkUtils zkUtils = null;
    private ZooKeeper zooKeeper = null;

    /**
     * -获取集群信息(与getAllBrokersInCluster()只是返回类型不一致)
     */
    public  Cluster getCluster(){
        zkUtils = ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());
        return zkUtils.getCluster();
    }
      public  void getLeaderAndIsrForPartition(String topicName,int patition){
          zkUtils = ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());
          System.out.println("打印:"+zkUtils.getLeaderAndIsrForPartition(topicName,patition));
    }

    public boolean createConsumer(String groupId,String topic) {
        try {
            Properties properties = new Properties();
            properties.put("zookeeper.connect", consumerConfig.getZookeeperConn());//声明zk
            properties.put("group.id", groupId);
            ConsumerConnector consumer = new ZookeeperConsumerConnector(
  • 5
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
可以使用 Kafka 的 AdminClient API 动态获取 topic 列表,并使用 KafkaConsumer API 动态创建消费者。 首先,使用 AdminClient API 获取所有的 topic 列表: ``` Properties props = new Properties(); props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); AdminClient adminClient = AdminClient.create(props); ListTopicsOptions options = new ListTopicsOptions(); options.listInternal(true); // 包括内部 topic List<String> topicList = adminClient.listTopics(options).names().get(); ``` 然后,使用 KafkaConsumer API 动态创建消费者: ``` Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); // 动态订阅 topic for (String topic : topicList) { consumer.subscribe(Collections.singletonList(topic)); } while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("topic = %s, partition = %d, offset = %d, key = %s, value = %s%n", record.topic(), record.partition(), record.offset(), record.key(), record.value()); } } ``` 注意,这里动态订阅的 topic,需要在 Kafka 集群中已经存在。如果要动态创建 topic,可以使用 AdminClient API 的 `createTopics()` 方法。例如: ``` NewTopic newTopic = new NewTopic("test-topic", 3, (short) 1); CreateTopicsResult result = adminClient.createTopics(Collections.singleton(newTopic)); result.all().get(); // 等待创建完成 ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值