Zookeeper实践之：通过Zookeeper实现一个消费者进程分配程序

最新推荐文章于 2022-10-24 16:42:05 发布

铁猴

最新推荐文章于 2022-10-24 16:42:05 发布

阅读量3k

点赞数

分类专栏： Apache Zookeeper原理与实践文章标签： Zookeeper 集群协调 Kafka

本文链接：https://blog.csdn.net/eric_sunah/article/details/45950189

版权

背景

需要实现一个分布式监控程序，Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息

需求

随着Agent数量的增加，每秒产生的消息数量也在增加，考虑到High Level的API使消费者进程与分区的固定关系，所以需要使用Zookeeper来维护一个消费者的集群，使消费者可以根据Kafka分区的数量以及消费者集群的个数，动态的分配每个消费者节点上运行的消费者进程数

实现

package com.eric.hadoop.zookeeper.coordination;

import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.cache.NodeCache;
import org.apache.curator.framework.recipes.cache.NodeCacheListener;
import org.apache.curator.framework.recipes.cache.PathChildrenCache;
import org.apache.curator.framework.recipes.cache.PathChildrenCacheEvent;
import org.apache.curator.framework.recipes.cache.PathChildrenCacheListener;
import org.apache.curator.retry.ExponentialBackoffRetry;
import org.apache.curator.utils.EnsurePath;
import org.apache.zookeeper.CreateMode;
import org.codehaus.plexus.util.StringUtils;

/**
 * 根据KafkaConsumerManager运行的数量，动态的分配运行Con