Zookeeper分布式队列的实现

摘要：本文要通过zookeeper实现一个简单可靠的分布式队列

本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning

一、队列

Zookeeper可以处理两种类型的队列：
（1）同步队列
当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达。例如一个班去旅游，看是否所有人都到齐了，到齐了就发车。例如有个大任务分解为多个子任务，要所有子任务都完成了才能进入到下一流程。
（2）先进先出队列
按照FIFO方式进行入队和出队

例如实现生产者和消费者模型

二、实现思路
（1）同步队列
在zookeeper中先创建一个根目录 queue_sync，做为队列队列的消费者监视/queue/start节点，刚开始还没有这个节点，所以什么都不会做。入队操作就是在queue_sync下创建子节点，然后计算子节点的总数，看是否和队列的目标数量相同。如果相同，创建/queue_sync/start节点，由于/queue_sync/start这个节点有了状态变化，zookeeper就会通知监视者：队员已经到齐了，监视者得到通知后进行自己的后续流程

实现代码

 

package com.github.distribute.queue;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.concurrent.CountDownLatch;

import org.I0Itec.zkclient.ExceptionUtil;
import org.I0Itec.zkclient.exception.ZkNoNodeException;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * 分布式队列，同步队列的实现
 * 
 * @author linbingwen
 *
 * @param <T>
 */
public class DistributedQueue<T> {
	private static Logger logger = LoggerFactory.getLogger(DistributedQueue.class);

	protected final ZooKeeper zooKeeper;// 用于操作zookeeper集群
	protected final String root;// 代表根节点
	private int queueSize;
	private String startPath = "/queue/start";

	protected static final String Node_NAME = "n_";// 顺序节点的名称

	public DistributedQueue(ZooKeeper zooKeeper, String root, int queueSize) {
		this.zooKeeper = zooKeeper;
		this.root = root;
		this.queueSize = queueSize;
		init();
	}

	/**
	 * 初始化根目录
	 */
	private void init() {
		try {
			Stat stat = zooKeeper.exists(root, false);// 判断一下根目录是否存在
			if (stat == null) {
				zooKeeper.create(root, null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
			}
			zooKeeper.delete(startPath, -1); // 删除队列满的标志
		} catch (Exception e) {
			logger.error("create rootPath error", e);
		}
	}

	/**
	 * 获取队列的大小
	 * 
	 * @return