Kafka的灵魂伴侣Logi-KafkaManger(2)之kafka针对Topic粒度的配额管理(限流)

有想进滴滴LogI开源用户群的加我个人微信: jjdlmn_ 进群(备注:进群)

群里面主要交流 kakfaesagentLogI-kafka-manager、等等相关技术;

群内有专人解答你的问题

对~ 相关技术领域的解答人员都有; 你问的问题都会得到回应

有想进 滴滴LogI开源用户群 的加我个人微信: jjdlmn_ 进群(备注:进群)

群里面主要交流 kakfa、es、agent、以及其他技术

群内有专人解答疑问,你所问的都能得到回应


文章目录

    • 技术交流
  • 申请配额(限流)

    • 针对Topic粒度的配额如何生效的
  • 测试kafka限流是否成功

  • 专栏文章列表

项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台

本文主要是讲解 针对Topic生产/消费 的限流配置; 如果不需要设置限流 则可忽略;

申请配额(限流)


不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理(限速)机制

默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:

user + clientid

user

clientid

如果kafka集群没有开启身份认证,则只能使用clientid方式来进行限流。

但是KaFkaManager是可以支持到Topic粒度的; 假如你对kafka配额机制原理非常清楚的话,那么你就很容易理解KM是怎么实现的了: 一言以蔽之, clientid+topic组成一个单独的clientId

当你需要对Topic限流的时候 就需要做如下操作了;

  1. 研发/运维 选中Topic点击申请配额

在这里插入图片描述

  1. 运维人员 审核 申请配额的申请

在这里插入图片描述

  1. 审核通过, 限流信息已经写入到Zookeeper中;

针对Topic粒度的配额如何生效的

我们来简单看看KafakaManager申请配额的代码

在这里插入图片描述

在这里插入图片描述

从代码中我们可以看到, 我们写入到 zk中的配额clients节点路径是 apppId.TopicName; 想要让配额生效, 那么我们在生产和消费Topic的时候, clientId 需要设置为apppId.TopicName的格式; 一个topic单独分配一个clientId; 这样看起来想要使用这个功能是不是还挺麻烦;但是滴滴的 kafka-gateway 帮我们实现了这个功能;

kafka-gateway: 这个是滴滴内部针对社区版kafka做了一些扩展,增强; 比如这个功能,kafka-gateway就帮我们自动解决了,不需要那么麻烦

当然我们也可以不用kafka-gateway,在每个Topic生产/消费那里根据上门的规则单独设置clientId

测试kafka限流是否成功

我们将Topic Test2的生产限流设置为0.000001

在这里插入图片描述

然后写一段发送消息的代码, 设置client.id = apppId.TopicName的格式; 然后不停的发送

@Test

void contextLoads() {

Properties props = new Properties();

props.put(“bootstrap.servers”, “xxxxx”);

props.put(“acks”, “all”);

props.put(“retries”, 0);

props.put(“batch.size”, 16384);

props.put(“linger.ms”, 1);

props.put(“buffer.memory”, 33554432);

props.put(“client.id”, “appId_000001_cn.Test2”);

props.put(“key.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);

props.put(“value.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);

Producer<String, String> producer = new KafkaProducer<>(props);

for(int i = 0; i < 50000000; i++){

producer.send(new ProducerRecord<String, String>(“Test2”, Integer.toString(i), Integer.toString(i)));

}

producer.close();

}

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!**

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值