分布式集群架构场景化解决⽅案

基本概念

• 分布式：把系统拆分成多个子系统，每个子系统负责各自功能，独立部署，各司其职。
• 集群：多个实例共同工作，如：应用多份复制部署
• 分布式⼀定是集群，但是集群不⼀定是分布式
  

⼀致性Hash算法

Hash算法：应用于安全加密领域MD5、SHA等加密算法，在数据存储和查找领域有Hash表等。最经典的就是Hash表，它的查询效率⾮常之⾼。

Hash表的查询效率⾼不⾼取决于Hash算法，hash算法能够让数据平均分布，既能够节省空间⼜能提⾼查询效率。

应⽤场景

主要的应⽤场景归纳起来两个

• 请求的负载均衡（⽐如nginx的ip_hash策略）
• 分布式存储

普通Hash算法存在的问题

普通Hash算法存在⼀个问题，以ip_hash为例，假定下载⽤户ip固定没有发⽣改变，现在tomcat3出现了问题，down机了，服务器数量由3个变为了2个，之前所有的求模都需要重新计算。

如果在真实⽣产情况下，后台服务器很多台，客户端也有很多，那么影响是很⼤的，缩容和扩容都会存在这样的问题，⼤量⽤户的请求会被路由到其他的⽬标服务器处理，⽤户在原来服务器中的会话都会丢失。

⼀致性Hash算法

⼀致性哈希算法思路如下：

⾸先有⼀条直线，直线开头和结尾分别定为为1和2的32次⽅减1，这相当于⼀个地址，对于这样⼀条线，弯过来构成⼀个圆环形成闭环，这样的⼀个圆环称为hash环。我们把服务器的ip或者主机名求hash值然后对应到hash环上，那么针对客户端⽤户，也根据它的ip进⾏hash求值，对应到环上某个位置，然后如何确定⼀个客户端路由到哪个服务器处理呢？按照顺时针⽅向找最近的服务器节点

假如将服务器3下线，服务器3下线后，原来路由到3的客户端重新路由到服务器4，对于其他客户端没有影响只是这⼀⼩部分受影响（请求的迁移达到了最⼩，这样的算法对分布式集群来说⾮常合适的，避免了⼤量请求迁移 ）

增加服务器5之后，原来路由到3的部分客户端路由到新增服务器5上，对于其他客户端没有影响只是这⼀⼩部分受影响（请求的迁移达到了最⼩，这样的算法对分布式集群来说⾮常合适的，避免了⼤量请求迁移 ）

1）如前所述，每⼀台服务器负责⼀段，⼀致性哈希算法对于节点的增减都只需重定位环空间中的⼀⼩部分数据，具有较好的容错性和可扩展性。
但是，⼀致性哈希算法在服务节点太少时，容易因为节点分部不均匀⽽造成数据倾斜问题。例如系统中只有两台服务器，其环分布如下，节点2只能负责⾮常⼩的⼀段，⼤量的客户端
请求落在了节点1上，这就是数据（请求）倾斜问题
2）为了解决这种数据倾斜问题，⼀致性哈希算法引⼊了虚拟节点机制，即对每⼀个服务节点计算多个哈希，每个计算结果位置都放置⼀个此服务节点，称为虚拟节点。
具体做法可以在服务器ip或主机名的后⾯增加编号来实现。⽐如，可以为每台服务器计算三个虚拟节点，于是可以分别计算 “节点1的ip#1”、“节点1的ip#2”、“节点1的ip#3”、“节点2ip#1”、“节点2的ip#2”、“节点2的ip#3”的哈希值，于是形成六个虚拟节点，当客户端被路由到虚拟节点的时候其实是被路由到该虚拟节点所对应的真实节点

⼿写实现⼀致性Hash算法

普通Hash算法实现

/**
* 普通Hash算法实现
*/
public class GeneralHash {
   
	public static void main(String[] args) {
   
		// 定义客户端IP
		String[] clients = new String[] {
   "101.78.12.3","111.25.63.1","136.12.3.8"};
		// 定义服务器数量
		int serverCount = 5;
		// (编号对应0，1，2)
		// hash(ip)%node_counts=index
		//根据index锁定应该路由到的tomcat服务器
		for(String client: clients) {
   
			int hash = Math.abs(client.hashCode());
			int index = hash%serverCount;
			System.out.println("客户端：" + client + " 被路由到服务器编号为：" + index);
		 }
	 }
}

⼀致性Hash算法实现（不含虚拟节点）

import java.util.SortedMap;
import java.util.TreeMap;

public class ConsistentHashNoVirtual {
   
	public static void main(String[] args) {
   
		//step1 初始化：把服务器节点IP的哈希值对应到哈希环上
		// 定义服务器ip
		String[] tomcatServers = new String[] {
   "121.111.0.0","121.101.3.1","121.20.35.2","121.98.26.3"};
		
		SortedMap<Integer,String> hashServerMap = new TreeMap<