【Kafka】kafka动态获取某个topic的partition信息

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chiweitree/article/details/80351920


现在有这样一种场景,系统启动前,预期abc topic创建了一个100个分区,大概用个一段时间,之后可能会动态新增分区数,这就要求生产者在生产数据时,能够动态实时的获取分区数,做到及时有效的哈希生效,让数据进入新增的分区,kafka的jar包里倒是有这么一个api可以做到,不过这种场景本人觉得还不如夜里做一次升级呢。

毕竟在生产数据时每次获取abc topic的分区信息是一个性能损耗,一天生产10W数据,一年就是3650W数据,可能两年才会有这种新增分区数的需求,为了一次的动态获取实时生效,浪费了几千万次的查询损耗,得不偿失啊。


获取分区数就是list.size()即可,获取总的分区数,PartitionInfo里是topic的元数据,包含如下数据:




阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页