kafka 分组消费topic_kafka操作API（获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等）...

最新推荐文章于 2024-04-11 10:51:41 发布
最新推荐文章于 2024-04-11 10:51:41 发布
阅读量563 收藏
点赞数
文章标签： kafka 分组消费topic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42509398/article/details/111978950
版权

importcom.com.wj.kafkaAPI.conf.KafkaConsumerConfig;importkafka.admin.AdminClient;importkafka.admin.AdminUtils;importkafka.admin.RackAwareMode;importkafka.cluster.Broker;importkafka.cluster.Cluster;importkafka.consumer.ConsumerConfig;importkafka.consumer.KafkaStream;importkafka.coordinator.group.GroupOverview;importkafka.javaapi.consumer.ConsumerConnector;importkafka.javaapi.consumer.ZookeeperConsumerConnector;importkafka.server.ConfigType;importkafka.utils.ZkUtils;importorg.apache.kafka.common.TopicPartition;importorg.apache.kafka.common.security.JaasUtils;importorg.apache.zookeeper.KeeperException;importorg.apache.zookeeper.ZooKeeper;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.boot.autoconfigure.condition.ConditionalOnExpression;importorg.springframework.stereotype.Component;importscala.collection.JavaConversions;importscala.collection.Map;importscala.collection.Set;importjava.io.IOException;import java.util.*;public classConsoleApi {

@AutowiredprivateKafkaConsumerConfig consumerConfig;private ZkUtils zkUtils = null;private ZooKeeper zooKeeper = null;/*** -获取集群信息(与getAllBrokersInCluster()只是返回类型不一致)*/

publicCluster getCluster(){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnzkUtils.getCluster();

}public void getLeaderAndIsrForPartition(String topicName,intpatition){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

System.out.println("打印："+zkUtils.getLeaderAndIsrForPartition(topicName,patition));

}public booleancreateConsumer(String groupId,String topic) {try{

Properties properties= newProperties();

properties.put("zookeeper.connect", consumerConfig.getZookeeperConn());//声明zk

properties.put("group.id", groupId);

ConsumerConnector consumer= new ZookeeperConsumerConnector(new ConsumerConfig(properties),true);

java.util.Map topicCountMap = new HashMap();if (topic!=null &&!"".equals(topic)){

topicCountMap.put(topic,1); //一次从主题中获取一个数据

}else{

topicCountMap.put("topic", 1); //一次从主题中获取一个数据

}

java.util.Map>> messageStreams =consumer.createMessageStreams(topicCountMap);return true;

}catch(RuntimeException e){return false;

}

}public booleancreateConsumer(String groupId) {return createConsumer(groupId,null);

}public booleandeleteUselessConsumer(String group) {return deleteUselessConsumer("-1", group);

}/*** -删除topic路径

*@return

*/

publicString deleteTopicsPath(){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnzkUtils.DeleteTopicsPath();

}/*** -根据brokerId获取broker的信息

*@parambrokerId*/

public Broker getBrokerInfo(intbrokerId){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnzkUtils.getBrokerInfo(brokerId).get();

}/*** -获取消费者的路径

*@return

*/

publicString ConsumersPath(){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnzkUtils.ConsumersPath();

}/*** 删除多个topic

*@paramtopicNames

*@return

*/

public String[] deleteTopics(finalString...topicNames) {if(topicNames==null || topicNames.length==0) return new String[0];

java.util.Set deleted = new LinkedHashSet();for(String topicName: topicNames) {if(topicName!=null || !topicName.trim().isEmpty()) {

deleteTopic(topicName);

deleted.add(topicName.trim());

}

}return deleted.toArray(newString[deleted.size()]);

}/*** 获取所有的TopicList

*@return

*/

public ListgetTopicList() {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List allTopicList =JavaConversions.seqAsJavaList(zkUtils.getAllTopics());returnallTopicList;

}/*** ~获取某个分组下的所有消费者

*@paramgroupName

*@return

*/

public ListgetConsumersInGroup(String groupName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List allTopicList =JavaConversions.seqAsJavaList(zkUtils.getConsumersInGroup(groupName));returnallTopicList;

}/*** 判断某个topic是否存在

*@paramtopicName

*@return

*/

public booleantopicExists(String topicName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());boolean exists =AdminUtils.topicExists(zkUtils,topicName);returnexists;

}/*** ~

*@paramgroupName

*@return

*/

public booleanisConsumerGroupActive(String groupName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());boolean exists =AdminUtils.isConsumerGroupActive(zkUtils,groupName);returnexists;

}/*** 获取所有消费者组

*@return

*/

public ListgetConsumerGroups() {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List set =JavaConversions.seqAsJavaList(zkUtils.getConsumerGroups()) ;returnset;

}/*** 根据消费者的名称获取topic

*@paramgroupName

*@return

*/

public ListgetTopicsByConsumerGroup(String groupName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List set2 =JavaConversions.seqAsJavaList(zkUtils.getTopicsByConsumerGroup(groupName)) ;returnset2;

}/*** 获取排序的BrokerList

*@return

*/

public ListgetSortedBrokerList() {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List set2 =JavaConversions.seqAsJavaList(zkUtils.getSortedBrokerList()) ;returnset2;

}public ListgetAllBrokersInCluster() {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

List set2 =JavaConversions.seqAsJavaList(zkUtils.getAllBrokersInCluster()) ;returnset2;

}/*** 获取消费某个topic发送消息的消费组

*@paramtopicName

*@return

*/

public SetgetAllConsumerGroupsForTopic(String topicName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

Set stringSeq =zkUtils.getAllConsumerGroupsForTopic(topicName);returnstringSeq;

}/*** 获取删除主题的路径

*@paramtopicName

*@return

*/

publicString getDeleteTopicPath(String topicName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

String stringSeq=zkUtils.getDeleteTopicPath(topicName);returnstringSeq;

}/*** 获取topic路径

*@paramtopicName

*@return

*/

publicString getTopicPath(String topicName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

String stringSeq=zkUtils.getTopicPath(topicName);returnstringSeq;

}public booleancreateTopic(String topicName) {

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());try{// AdminUtils.createTopic(zkUtils, topicName, 1, 1, newProperties(),RackAwareMode.Enforced$.MODULE$);return true;

}catch(RuntimeException e){

}return false;

}/*** 删除topic信息(前提是server.properties中要配置delete.topic.enable=true)

*@paramtopicName*/

public voiddeleteTopic(String topicName){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());//删除topic 't1'

AdminUtils.deleteTopic(zkUtils, topicName);

System.out.println("删除成功！");

}/*** 删除topic的某个分区

*@parambrokerId

*@paramtopicName*/

public void deletePartition(intbrokerId,String topicName){//删除topic 't1'

zkUtils = ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

zkUtils.deletePartition(brokerId,topicName);

System.out.println("删除成功！");

}/*** 改变topic的配置

*@paramtopicName*/

public voidupdateTopic(String topicName){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());

Properties props= AdminUtils.fetchEntityConfig(zkUtils, ConfigType.Topic(), "test");//增加topic级别属性

props.put("min.cleanable.dirty.ratio", "0.3");//删除topic级别属性

props.remove("max.message.bytes");

props.put("retention.ms","1000");//修改topic 'test'的属性

AdminUtils.changeTopicConfig(zkUtils, "test", props);

System.out.println("修改成功");

zkUtils.close();

}/*** 获取所有topic的配置信息*/

public MapfetchAllTopicConfigs(){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnAdminUtils.fetchAllTopicConfigs(zkUtils);

}/*** 获取所有topic或者client的信息()type为：ConfigType.Topic()/ConfigType.Client()*/

public MapfetchAllEntityConfigs(String type){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnAdminUtils.fetchAllEntityConfigs(zkUtils, type);

}/*** 获取指定topic的配置信息

*@paramtopicName*/

publicProperties fetchEntityConfig(String topicName){

zkUtils= ZkUtils.apply(consumerConfig.getZookeeperConn(), 30000, 30000, JaasUtils.isZkSecurityEnabled());returnAdminUtils.fetchEntityConfig(zkUtils, ConfigType.Topic(), topicName);

}private booleandeleteUselessConsumer(String topic, String group) {//if (topic.endsWith("-1")) {

StringBuilder sb = new StringBuilder().append("/consumers/")

.append(group);returnrecursivelyDeleteData(sb.toString());

}private booleanrecursivelyDeleteData(String path) {

List childList =getChildrenList(path);if (childList == null) {return false;

}else if(childList.isEmpty()) {

deleteData(path);

}else{for(String childName : childList) {

String childPath= path + "/" +childName;

List grandChildList =getChildrenList(childPath);if (grandChildList == null) {return false;

}else if(grandChildList.isEmpty()) {

deleteData(childPath);

}else{

recursivelyDeleteData(childPath);

}

}

deleteData(path);

}return true;

}private booleandeleteData(String path) {try{

zooKeeper.delete(path,-1);

}catch(InterruptedException e) {//log.error("delete error,InterruptedException:" + path, e);

return false;

}catch(KeeperException e) {//log.error("delete error,KeeperException:" + path, e);

return false;

}return true;

}private ListgetChildrenList(String path) {try{

zooKeeper= new ZooKeeper(consumerConfig.getZookeeperConn(), 6000, null);return zooKeeper.getChildren(path, false, null);

}catch(KeeperException e) {return null;

}catch(InterruptedException e) {return null;

}catch(IOException e) {

e.printStackTrace();

}return new ArrayList(Collections.singleton(path));

}/*** get all subscribing consumer group names for a given topic

*@parambrokerListUrl localhost:9092 for instance

*@paramtopic topic name

*@return

*/

public static java.util.SetgetAllGroupsForTopic(String brokerListUrl, String topic) {

AdminClient client=AdminClient.createSimplePlaintext(brokerListUrl);try{

List allGroups =scala.collection.JavaConversions.seqAsJavaList(client.listAllGroupsFlattened().toSeq());

java.util.Set groups = new HashSet();for(GroupOverview overview: allGroups) {

String groupID=overview.groupId();

java.util.Map offsets =JavaConversions.mapAsJavaMap(client.listGroupOffsets(groupID));

groups.add(groupID);

}returngroups;

}finally{

client.close();

}

}

}

自强自在
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka操作API（获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等）
face light~
06-20 2万+
实现kafka的管理端操作API步骤如下： 1.添加pom依赖： <dependency> <groupId>org.springframework.kafka</groupId>
Kafka 消费进度
记录点点滴滴
03-08 1451
监控消费进度 : 看滞后程度：消费者 Lag , Consumer Lag滞后程度 : 消费者落后于生产者的程度Lag : 反映消费者的运行情况。
使kafka api生产/消费/获取分区状态
紫蝶侠的博客
05-12 892
1. 生产 CustomProducer import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; public class CustomProducer {
Kafka 实战 - Kafka消费者生产经验之分区的分配及再平衡、数据积压和消费者事务
最新发布
qq_33240556的博客
04-11 394
通过妥善处理 Kafka 消费者的分区分配与再平衡、有效应对数据积压问题以及合理使用消费者事务，可以显著提升 Kafka 消费的稳定性和数据处理的准确性，确保业务逻辑正确执行。同时，持续监控与优化消费性能，是保持 Kafka 集群健康运行的关键。Apache Kafka 的消费者在实际使用中，往往会面临分区分配与再平衡、数据积压以及消费者事务等挑战。
kafka调用java api 实现消费监控，获取当前消费组offset/logsize/lag信息
xiaoniuniu01的博客
05-05 5840
此段代码适合kafka0.9以后的版本，可获取每个分区的存储的消息偏移量，消息积压量以及消费者提交的偏移量，附上全部代码 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId>...
Kafka安全--(三).查询消费者组状态
golango_cn的博客
06-09 1711
3.查询消费者组状态 用admin用户创建对应的JAAS文件acl_admin_jaas.conf KafkaClient{ org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin"; }; 拷贝一份新的kafka-consumer-groups.sh，修改文件后保存退出。 cp kafka-consumer-group
Kafka：broker如何处理请求
Java技术攻略的博客
04-04 289
生产者生产消息，调用Kafka Client提供的API通过send方法发送到broker之后，broker会根据消息有对应的处理手法，。首先讲一下Kafka的请求类型。
kafka_topic创建、分区、删除管理
11-23
kafka管理工具，主要用于创建、删除、查看管理topic信息
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040
kafka监控获取指定topic的消息总量示例
01-20
import kafka.api.PartitionOffsetRequestInfo; import kafka.common.TopicAndPartition; import kafka.javaapi.OffsetResponse; import kafka.javaapi.PartitionMetadata; import kafka.javaapi.TopicMetadata; ...
Kafka 可视化工具（Kafka Tool_windows_64bit）.rar
07-29
1、图形化界面可以直观地查看 Kafka 的 Topic 里的内容 2、自由设置 Kafka 数据展示格式 3、使用 Kafka Tool 创建/删除 Topic 4、使用 Kafka Tool 模拟发送 Messages
Kafka获取订阅某topic的所有consumer group【客户端版】
weixin_30439067的博客
04-01 1036
之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group，参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类，但是这个类在0.11.0.0版本已经被标记为不推荐使用了，故目前最合适的方式还是通过客户端API：org.apache.kafka.clients.admin.AdminClient。今天碰到有人问这个问题，我就尝试写了...
Java API 查看Kafka消费情况（所有组id，消息消费偏移量）
bad_boy的博客
01-25 6531
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.11.0.0</version> </dependency> @Service @Slf4j public class Kafka..
Java操作Kafka(KafkaAdminClient Api)
qq_39696269的博客
08-03 1661
AdminClient client = null; try { Properties properties = new Properties(); properties.put("bootstrap.servers", nodeInfo.getHOST_IP()); properties.put("connections.max.idle.ms", 10000); .
【kafka】十五、kafka消费者API
return
11-27 834
kafka消费者API
关于kafka的topic的授权和消费的问题汇总
weixin_43865381的博客
08-15 4194
关于kafka的topic的授权问题的汇总 在具有kerberos的集群上对其他用户相应的topic授权的时候主要有以下几点 如果超级用户为kafka这时候需要切换到kafka安装的一个节点上，进行kinit验证的操作 例如：kinit –kt /etc/kafka/conf/kafka.keytab kafka 需要创建要对topic进行操作的用户（读，写或者读和写都具备） 1.1添加的一个普...
深入浅出理解kafka原理系列之：查看消费者组的详细信息
zhengzaifeidelushang的博客
12-15 576
深入理解Kafka原理：查看消费者组的详细信息 ./kafka-consumer-groups.sh --bootstrap-server bigdata1:9092 --describe --group testgroup GROUP TOPIC PARTITION CURRENT_OFFSET LOG-END-OFFSET LAG CONSUMER_ID HOST CLIENT-ID CURRENT_OFFSET：最后被消费的消息的偏移量 LOG-END-OFFSET：消息总量 LAG：
python查看kafka所有消息_kafka监控获取指定topic的消息总量示例
weixin_42565402的博客
02-10 1835
我就废话不多说了，直接 上代码吧！import kafka.api.PartitionOffsetRequestInfo;import kafka.common.TopicAndPartition;import kafka.javaapi.OffsetResponse;import kafka.javaapi.PartitionMetadata;import kafka.javaapi.Topic...
Kafka消费者APi
weixin_33898233的博客
09-18 260
Kafka客户端从集群中消费消息，并透明地处理kafka集群中出现故障服务器，透明地调节适应集群中变化的数据分区。也和服务器交互，平衡均衡消费者。 public class KafkaConsumer<K,V> extends Object implements Consumer<K,V> 消费者TCP长连接到broker来拉取消息。故障导致的消费者关闭失败...
我在用librdkafka的C API消费数据。rd_kafka_topic_partition_list_set_offset 该如何使用，有例子不
03-20
很高兴为您解答这个问题！rd_kafka_topic_partition_list_set_offset 函数可以用于设置消费者的偏移量，具体使用方法如下： ```c rd_kafka_topic_partition_list_t *topics; rd_kafka_topic_partition_list_new(&topics, 1); rd_kafka_topic_partition_list_add(topics, "test_topic", 0); // 设置偏移量为100 rd_kafka_topic_partition_list_set_offset(topics, "test_topic", 0, 100); // 使用设置的偏移量消费数据 rd_kafka_consume_start(topic, partition, offset); ``` 在上面的代码中，我们首先创建了一个包含一个主题和一个分区的 rd_kafka_topic_partition_list_t 对象。然后，我们使用 rd_kafka_topic_partition_list_set_offset 函数将偏移量设置为100。最后，我们使用设置的偏移量消费数据。 希望这个回答能够帮助您解决问题！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值