一致性hash算法的实现

一致性hash算法常用的场景是在memcached或分布式存储的集群中。如果在一个分布式的系统集群中，采用普通的hash算法将数据映射到具体节点上，如：key%N，key是数据的key，N是节点Node的数量。如果有一台机器退出或这有一台机器加入这个集群，那么所有所有的数据映射都失效。如果是分布memcached缓存，那么几乎所有的缓存都不能命中，导致db的压力会瞬间过大。如果采用一致性hash算法，影响的只是局部的缓存节点，不会影响整体缓存节点。

下面是hash算法的具体步骤：

一致性Hash算法将 value 映射到一个 32 为的 key 值，也即是 0~2^32-1 次方的数值空间；

我们可以将这个空间想象成一个首（ 0 ）尾（ 2^32-1 ）相接的圆环。 

如下代码所示：

import java.io.UnsupportedEncodingException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.SortedMap;
import java.util.TreeMap;

public class ConsistencyHash {

	private TreeMap<Long, Object> nodes = new TreeMap<Long, Object>();
	// 真实服务器节点信息
	private List<Object> shards = new ArrayList<Object>();
	// 设置虚拟节点数目
	private int VIRTUAL_NUM = 4;

	public ConsistencyHash() {
		// 初始化一致环
		shards.add("192.168.0.0-服务器0");
		shards.add("192.168.0.1-服务器1");
		shards.add("192.168.0.2-服务器2");
		shards.add("192.168.0.3-服务器3");
		shards.add("192.168.0.4-服务器4");
		for (int i = 0; i < shards.size(); i++) {
			Object shardInfo = shards.get(i);
			for (int j = 0; j < VIRTUAL_NUM; j++) {
				//计算hash值和虚拟hash值，并发hash值和节点映射保存在treeMap中
				nodes.put(hash(computeMd5("SHARD-" + i + "-NODE-" + j), j),
						shardInfo);
			}
		}
	}

	/**
	 * 根据key的hash值取得服务器节点信息
	 * 
	 * @param hash
	 * @return
	 */
	public Object getShardInfo(long hash) {
		Long key = hash;
		SortedMap<Long, Object> tailMap = nodes.tailMap(key);
		if (tailMap.isEmpty()) {
			key = nodes.firstKey();
		} else {
			key = tailMap.firstKey();
		}
		return nodes.get(key);
	}

	/**
	 * 打印圆环节点数据
	 */
	public void printMap() {
		System.out.println(nodes);
	}

	/**
	 * 根据2^32把节点分布到圆环上面。
	 * 
	 * @param digest
	 * @param nTime
	 * @return
	 */
	public long hash(byte[] digest, int nTime) {
		long rv = ((long) (digest[3 + nTime * 4] & 0xFF) << 24)
				| ((long) (digest[2 + nTime * 4] & 0xFF) << 16)
				| ((long) (digest[1 + nTime * 4] & 0xFF) << 8)
				| (digest[0 + nTime * 4] & 0xFF);

		return rv & 0xffffffffL; /* Truncate to 32-bits */
	}

	/**
	 * Get the md5 of the given key. 计算MD5值
	 */
	public byte[] computeMd5(String k) {
		MessageDigest md5;
		try {
			md5 = MessageDigest.getInstance("MD5");
		} catch (NoSuchAlgorithmException e) {
			throw new RuntimeException("MD5 not supported", e);
		}
		md5.reset();
		byte[] keyBytes = null;
		try {
			keyBytes = k.getBytes("UTF-8");
		} catch (UnsupportedEncodingException e) {
			throw new RuntimeException("Unknown string :" + k, e);
		}

		md5.update(keyBytes);
		return md5.digest();
	}

	public static void main(String[] args) {
		Random ran = new Random();
		ConsistencyHash hash = new ConsistencyHash();
		hash.printMap();
		// 循环50次，是为了取50个数来测试效果，当然也可以用其他任何的数据来测试
		for (int i = 0; i < 50; i++) {
			System.out.println(hash.getShardInfo(hash.hash(
					hash.computeMd5(String.valueOf(i)),
					ran.nextInt(hash.VIRTUAL_NUM))));
		}
	}

}