514-一致性哈希算法-负载均衡

最新推荐文章于 2024-10-04 21:55:25 发布

林林林ZEYU

最新推荐文章于 2024-10-04 21:55:25 发布

阅读量1.1k

点赞数 2

分类专栏： C++实现校园集群聊天服务器文章标签：算法一致性哈希算法

本文链接：https://blog.csdn.net/LINZEYU666/article/details/120057966

版权

C++实现校园集群聊天服务器专栏收录该内容

30 篇文章 39 订阅

订阅专栏

本文深入探讨了在分布式系统中，普通哈希算法在业务服务器和缓存服务器上存在的问题，如客户端请求不均匀分布、服务器故障或扩容时引起的混乱。为了解决这些问题，文章介绍了使用一致性哈希算法，通过在哈希环上均匀分布虚拟节点，确保服务器增减时影响最小化。同时，文章还提供了MD5算法的实现，用于文件的校验和计算，确保数据传输的安全性。

摘要由CSDN通过智能技术生成

在这里插入图片描述

场景1（业务服务器）–普通哈希算法存在的问题

在这里插入图片描述
轮询算法：第一个请求给server1，第二个请求给server2，第3个请求给server3，一直轮询下去。
权重比算法：比如说，给第1台分配1的权重，给第2台分配2的权重，给第3台分配1的权重，有4个请求到来，其中2个请求分配给第2台，其他两台各分配1个请求。
最少连接算法：负载均衡器要记录跟每一台服务器建立的连接，每次发请求的时候，跟哪台请求创建的连接最少就分发给哪台机器，哪台服务器连接少，说明其压力小，新来的请求就给到压力最小的服务器。
哈希算法：除留余数法。有3台服务器，就模上3，得到0,1，2的下标，对应哪个服务器的下标，就去哪台服务器上。

这些算法简单是简单，但是在大规模分布式系统，有很大的缺陷：
普通的哈希算法：
在这里插入图片描述
不同的客户端IP地址不一样，或者在同一台客户端操作的话，端口号也不一样。

输入参数的IP地址＋端口号
在这里插入图片描述
普通的哈希算法做的事情就是除留余数法。

选择的哈希函数是md5，加密算法，得到一个int整数，模上服务器的个数。

最后得到0,1，2的下标，得到哪个数字，就意味着这个客户端的请求就分发到相应的服务器上。

在这里插入图片描述
同1个客户端永远被映射到1台指定的server，因为客户端的IP地址和端口号不变，经过md5哈希以后，得到的都是同一个整数。有效地解决会话共享的问题。
会话共享：我们给客户端取名zhangsan，lisi，zhangsan的IP地址和端口号作为md5哈希函数的输入参数，处理完永远是22,22模上3，得到1，也就是说，zhangsan从刚开始登录的时候就登录到1号服务器上了，会写一些用户名和密码进行验证这个客户端登录是否成功，在1号服务器上记录zhangsan这个客户的所有会话(登录状态，connection连接消息）。lisi这个IP地址和端口号经过md5哈希函数得到的结果是23，23模上3是2，也就是说，lisi的会话就存储在2号服务器（2号服务器记录lisi的登录成功与否，connection连接信息）
假如说，同一个客户端的每一次的请求没有被映射到1台指定的server服务器上，而是每一次发过来的请求都跳到不同的服务器上，可能出现这么一种情况：zhangsan第一次登录，被映射到1号服务器上，在1号服务器上做业务处理后判断zhangsan输入的ID号用户名密码都是正确的，登录成功，在这个服务端的内存可能就记录他的session，登录的状态。那么下一次zhangsan有新的操作，重新发了1个请求，这个请求没有被映射到1号服务器，而是被映射到0号服务器，那0号服务器对zhangsan这个请求进行合法的处理还是因为它没有登录信息而拒绝执行业务？那么zhangsan登录成功与否，他的会话在server2的内存记录。现在，zhangsan后续的请求又跑到server1上了，server1上的内存并没有记录zhangsan之前登录的相关的会话数据。
解决这种情况：就是把每个server的客户会话记录都放在统一的Redis里面，就是每一次取当前用户的状态，根据用户ID号，从远程的缓存服务器Redis中取。

登录成功以后，客户端还有一些连接跟这个服务器创建了连接，我们希望这个用户后续做的所有的请求都是在这台服务器上，因为这台服务器和当前客户保持着长连接。

普通的哈希算法，解决了会话共享的问题，一个客户的请求永远落在一台服务器上。

假如说1号机器现在挂掉了，按理来说，只影响1号机器上登录成功的用户，不影响其他2台机器上登录成功的用户。但是实际上，nginx可以动态识别后端服务器的故障，现在后续所有客户端发的请求经过md5处理之后，就是模上2了！！！原来是模上3，到达0号服务器和2号服务器的那么用户，现在由于1号服务器挂掉了，现在那些用户再发送后续请求的话，经过md5哈希函数后模上2，到达的就不一定是原来的服务器上了。
这就是普通的哈希算法面临的问题。
或者是增加了1台服务器，3号服务器，可以让后续新登录的用户给这个3号服务器上负载一些。原来登录在0,1，2上的服务器的用户就不用变，后续的请求就还是登录到之前的0,1，2号服务器，那么现在不是这样，动态增加1台服务器后，nginx（lvs）会感知到，同样的客户端，同样的IP地址端口号经过md5哈希函数后模上4了！！！就全乱了！！！

场景2（缓存服务器）–普通哈希算法存在的问题

在这里插入图片描述
服务端要增删改查数据，能不能直接操作DB数据库，可以，但是不能做到高并发，因为涉及到磁盘I/O次数多，所以我们会把热点信息存储在缓存上。
我们拿用户的ID（key)，先在缓存上（Redis，memcache）查，查不到再去DB数据库上查，查完了，先把数据往缓存上放，然后返回给服务层，服务器处理完业务把结果返回给用户。
其次，在高并发大流量的场景下，缓存服务器本身也要集群。
在这里插入图片描述
根据普通哈希算法，把用户ID传入md5哈希函数，1个用户永远到1台memcach服务器上。
此时，memcach3挂掉了，按照普通的哈希算法，模上的数字改了，原来用户的后续请求落在了不同的memcach服务器上了，导致查询不到，然后到DB上找，DB上找来了以后又存到了不同的memcach上，导致有多台memcach服务器存储了同一个用户的信息。
假如memcach1上存储了10万用户的ID信息。这10万用户经过模数的更改，找不到缓存，然后都从DB上查，DB一下子就懵了，然后又重新落在了其他的memcach服务器上。
同样的再增加1台memcach服务器，模数也改了，结果也是不能接受的。

原本有100万数据，90万从缓存读取，10万由于缓存没查到落到DB，如果因为一台服务器的挂掉或者增加，模数改变，然后没查到，把90万数据都转到了DB，就严重了。

挂掉了服务器3，我们的理想是，得让原来落在服务器1和服务器2的用户，永远落在他们最初落在的服务器上，其他的新用户的请求进行新的模数取余负载分发
在这里插入图片描述
这个是普通的哈希算法是无法解决的。
怎么办呢？？？
我们要用一致性哈希算法，一致性哈希算法会弥补普通哈希算法产生的问题。

一致性哈希算法

这个环就是一堆整数的取值范围代表的数字。

在这里插入图片描述

A，B，C落在3个不同的地方，代表md5算出的3个不同的数字

假设现在有4个客户请求进来了，这4个客户都有自己的IP和端口，我们把IP+端口作为输入值，经过md5处理后得到4个整数，分别落在了一致性哈希环上的4个位置。
在这个一致性哈希环上，沿着顺时针，遇到的第一台服务器就是最终负载到的服务器。
在这里插入图片描述

假如现在客户端的请求来了（zhangsan的请求来了），zhangsan的IP地址+端口号作为输入值，进行md5的哈希，算出的哈希值，位于一致性哈希环上的1号位置，那么zhangsan请求最终落在了A服务器上。
客户2和客户3的请求就落在C服务器上。
客户4的请求就落在B服务器上。

这样到底有没有解决普通哈希算法存在的问题？
在这里插入图片描述
假如服务器3挂了，原来工作在1或者2的服务器上的客户，依然在1或者2上。
原来在服务器3上工作的客户重新分发到1或者2上就可以了。

另外，扩展机器的时候，又增加1台机器，原来工作在1,2或者3上的客户依然工作在原机器上，只不过后期负载均衡器把新的请求落在4上就可以了。
在这里插入图片描述
让重新哈希的结果做到最少的改动。
有利于服务端业务运行的稳定。

在这里插入图片描述
假如说服务器A挂了，不会影响原来在B或者C上的客户。

一个机器节点挂了，只是影响原来映射到这台服务器上的客户，只影响了客户1。

假设增加1个服务器节点D
首先把D服务器的IP地址作为输入参数，传给md5哈希函数，得出整数值，就是落在一致性哈希环上的位置。
增加一个服务器节点，只影响这个服务器节点按逆时针遇到的上一台服务器的之间的请求。
做到最少的改动。
在这里插入图片描述
用set 红黑树存储key就可以实现这个环了

服务器经过一致性哈希处理后，在哈希环上应该是分散一些好，还是集中在一起好？？？
为了达到每一个服务器的负载能力都比较均衡，尽量让它们分散一些，收到的客户的请求就均衡一些，趋于平均。

下图这样就很不好。
在这里插入图片描述
虚拟节点可以解决此问题
在一致性哈希的环上，我们都是存放机器的虚拟节点，就是把1个机器虚拟的看成200台（很多台）机器

ip虽然相同，但是后面的#数字不同，我们就可以在哈希环上得到不同位置的散列值。md5算法特点：哪怕输入参数值比较近似，md5算法处理后，结果也是非常离散的。

在实际中，我们给真实的主机放100-200个虚拟节点，A和B在md5计算后的结果非常近，但是我们把物理主机想象成各自有100-200个虚拟主机，在环上就相对离散。
在这里插入图片描述
虚拟节点保存其对应的物理节点的主机的信息，请求是落在虚拟节点对应的物理主机上。

虚拟节点的目的就是防止物理节点过少，导致哈希处理后在一致性哈希环上挤在一起，导致某一台服务器负载太多，其他的服务器一直很空闲。

写代码：
虚拟节点，物理节点，ConsistentHash

MD5算法应用讲解

md5算法可以用于加密，哈希，验证，云盘项目-大文件传输-秒传
演示如下：

得到的是加密串
在这里插入图片描述

在这里插入图片描述

得到的是处理后的整型数据

数字差别还是很大的，还是非常离散的！

在这里插入图片描述
secret.dat文件从fileclient传送到fileserver，怎么保证这个文件没有在网络的中间节点上被人拦截，并且文件内容被修改，或者被嵌入恶意的程序？
我们用md5来防止
在fileclient还没有传送文件之前，先在本地计算出这个文件的md5值
然后等服务器同意，可以上传，就传输文件。服务器接收完文件以后，服务端也计算该文件的md5，如果文件内容和原始的一样，那么就是fileserver接收完计算这个文件的md5值和fileclient传输文件前计算的文件的md5值要相同。
如果值不相等，就证明文件的内容有问题了。
在这里插入图片描述
上传的文件的md5值都可以存储下来，
如果后续fileclient又发送secret.dat的文件请求，它的处理是先发送updatefile的消息，然后服务器发现你想上传的文件的md5值库里都有，就给客户端直接响应一下你要上传的文件已经有了，不用上传了
在这里插入图片描述
实际上没有传输，只是做了一个md5值的验证

md5.h源码

#pragma once


/* typedef a 32 bit type */
typedef unsigned long int UINT4;

/* Data structure for MD5 (Message Digest) computation */
typedef struct {
	UINT4 i[2];                   /* number of _bits_ handled mod 2^64 */
	UINT4 buf[4];                                    /* scratch buffer */
	unsigned char in[64];                              /* input buffer */
	unsigned char digest[16];     /* actual digest after MD5Final call */
} MD5_CTX;

void MD5Init(MD5_CTX* mdContext);
void MD5Update(MD5_CTX* mdContext, unsigned char* inBuf, unsigned int inLen);
void MD5Final(MD5_CTX* mdContext);
static void Transform(UINT4* buf, UINT4* in);
//指定一个文件的路径path，根据文件内容计算出一个md5加密串
//这个文件内容有一点点任何改动，生成的加密串都是不一样的
char* MD5_file(const char* path, int md5_len=32);
//从原始的字符串，得到加密后的md5串
char* MD5(const char* buf, int md5_len = 32);
//把32位的md5串，处理成unsigned int返回
unsigned int getMD5(const char* buf);

md5.cc源码

#include "md5.h"
#include <stdio.h>
#include <stdlib.h>
#include <string.h>


/* forward declaration */
static void Transform();

static unsigned char PADDING[64] = {
	0x80, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
};

/* F, G and H are basic MD5 functions: selection, majority, parity */
#define F(x, y, z) (((x) & (y)) | ((~x) & (z)))
#define G(x, y, z) (((x) & (z)) | ((y) & (~z)))
#define H(x, y, z) ((x) ^ (y) ^ (z))
#define I(x, y, z) ((y) ^ ((x) | (~z))) 

/* ROTATE_LEFT rotates x left n bits */
#define ROTATE_LEFT(x, n) (((x) << (n)) | ((x) >> (32-(n))))

/* FF, GG, HH, and II transformations for rounds 1, 2, 3, and 4 */
/* Rotation is separate from addition to prevent recomputation */
#define FF(a, b, c, d, x, s, ac) \
  {(a) += F ((b), (c), (d)) + (x) + (UINT4)(ac); \
   (a) = ROTATE_LEFT ((a), (s)); \
   (a) += (b); \
  }
#define GG(a, b, c, d, x, s, ac) \
	  {(a) += G ((b), (c), (d)) + (x) + (UINT4)(ac); \
   (a) = ROTATE_LEFT ((a), (s)); \
   (a) += (b); \
	  }
#define HH(a, b, c, d, x, s, ac) \
	  {(a) += H ((b), (c), (d)) + (x) + (UINT4)(ac); \
   (a) = ROTATE_LEFT ((a), (s)); \
   (a) += (b); \
	  }
#define II(a, b, c, d, x, s, ac) \
	  {(a) += I ((b), (c), (d)) + (x) + (UINT4)(ac); \
   (a) = ROTATE_LEFT ((a), (s)); \
   (a) += (b); \
	  }

void MD5Init(MD5_CTX* mdContext)
{
	mdContext->i[0] = mdContext->i[1] = (UINT4)0;

	/* Load magic initialization constants.
	*/
	mdContext->buf[0] = (UINT4)0x67452301;
	mdContext->buf[1] = (UINT4)0xefcdab89;
	mdContext->buf[2] = (UINT4)0x98badcfe;
	mdContext->buf[3] = (UINT4)0x10325476;
}

void MD5Update(MD5_CTX* mdContext, unsigned char* inBuf, unsigned int inLen)
{
	UINT4 in[16];
	int mdi;
	unsigned int i, ii;

	/* compute number of bytes mod 64 */
	mdi = (int)((mdContext->i[0] >> 3) & 0x3F);

	/* update number of bits */
	if ((mdContext->i[0] + ((UINT4)inLen << 3)) < mdContext->i[0])
		mdContext->i[1]++;
	mdContext->i[0] += ((UINT4)inLen << 3);
	mdContext->i[1] += ((UINT4)inLen >> 29);

	while (inLen--) {
		/* add new character to buffer, increment mdi */
		mdContext->in[mdi++] = *inBuf++;

		/* transform if necessary */
		if (mdi == 0x40) {
			for (i = 0, ii = 0; i < 16; i++, ii += 4)
				in[i] = (((UINT4)mdContext->in[ii + 3]) << 24) |
				(((UINT4)mdContext->in[ii + 2]) << 16) |
				(((UINT4)mdContext->in[ii + 1]) << 8) |
				((UINT4)mdContext->in[ii]);
			Transform(mdContext->buf, in);
			mdi = 0;
		}
	}
}

void MD5Final(MD5_CTX* mdContext)

{
	UINT4 in[16];
	int mdi;
	unsigned int i, ii;
	unsigned int padLen;

	/* save number of bits */
	in[14] = mdContext->i[0];
	in[15] = mdContext->i[1];

	/* compute number of bytes mod 64 */
	mdi = (int)((mdContext->i[0] >> 3) & 0x3F);

	/* pad out to 56 mod 64 */
	padLen = (mdi < 56) ? (56 - mdi) : (120 - mdi);
	MD5Update(mdContext, PADDING, padLen);
	/* append length in bits and transform */
	for (i = 0, ii = 0; i < 14; i++, ii += 4)
		in[i] = (((UINT4)mdContext->in[ii + 3]) << 24) |
		(((UINT4)mdContext->in[ii + 2]) << 16) |
		(((UINT4)mdContext->in[ii + 1]) << 8) |
		((UINT4)mdContext->in[ii]);
	Transform(mdContext->buf, in);

	/* store buffer in digest */
	for (i = 0, ii = 0; i < 4; i++, ii += 4) {
		mdContext->digest[ii] = (unsigned char)(mdContext->buf[i] & 0xFF);
		mdContext->digest[ii + 1] =
			(unsigned char)((mdContext->buf[i] >> 8) & 0xFF);
		mdContext->digest[ii + 2] =
			(unsigned char)((mdContext->buf[i] >> 16) & 0xFF);
		mdContext->digest[ii + 3] =
			(unsigned char)((mdContext->buf[i] >> 24) & 0xFF);
	}
}

/* Basic MD5 step. Transform buf based on in.
*/
static void Transform(UINT4* buf, UINT4* in)
{
	UINT4 a = buf[0], b = buf[1], c = buf[2], d = buf[3];

	/* Round 1 */
#define S11 7
#define S12 12
#define S13 17
#define S14 22
	FF(a, b, c, d, in[0], S11, 3614090360); /* 1 */
	FF(d, a, b, c, in[1], S12, 3905402710); /* 2 */
	FF(c, d, a, b, in[2], S13, 606105819); /* 3 */
	FF(b, c, d, a, in[3], S14, 3250441966); /* 4 */
	FF(a, b, c, d, in[4], S11, 4118548399); /* 5 */
	FF(d, a, b, c, in[5], S12, 1200080426); /* 6 */
	FF(c, d, a, b, in[6], S13, 2821735955); /* 7 */
	FF(b, c, d, a, in[7], S14, 4249261313); /* 8 */
	FF(a, b, c, d, in[8], S11, 1770035416); /* 9 */
	FF(d, a, b, c, in[9], S12, 2336552879); /* 10 */
	FF(c, d, a, b, in[10], S13, 4294925233); /* 11 */
	FF(b, c, d, a, in[11], S14, 2304563134); /* 12 */
	FF(a, b, c, d, in[12], S11, 1804603682); /* 13 */
	FF(d, a, b, c, in[13], S12, 4254626195); /* 14 */
	FF(c, d, a, b, in[14], S13, 2792965006); /* 15 */
	FF(b, c, d, a, in[15], S14, 1236535329); /* 16 */

	/* Round 2 */
#define S21 5
#define S22 9
#define S23 14
#define S24 20
	GG(a, b, c, d, in[1], S21, 4129170786); /* 17 */
	GG(d, a, b, c, in[6], S22, 3225465664); /* 18 */
	GG(c, d, a, b, in[11], S23, 643717713); /* 19 */
	GG(b, c, d, a, in[0], S24, 3921069994); /* 20 */
	GG(a, b, c, d, in[5], S21, 3593408605); /* 21 */
	GG(d, a, b, c, in[10], S22, 38016083); /* 22 */
	GG(c, d, a, b, in[15], S23, 3634488961); /* 23 */
	GG(b, c, d, a, in[4], S24, 3889429448); /* 24 */
	GG(a, b, c, d, in[9], S21, 568446438); /* 25 */
	GG(d, a, b, c, in[14], S22, 3275163606); /* 26 */
	GG(c, d, a, b, in[3], S23, 4107603335); /* 27 */
	GG(b, c, d, a, in[8], S24, 1163531501); /* 28 */
	GG(a, b, c, d, in[13], S21, 2850285829); /* 29 */
	GG(d, a, b, c, in[2], S22, 4243563512); /* 30 */
	GG(c, d, a, b, in[7], S23, 1735328473); /* 31 */
	GG(b, c, d, a, in[12], S24, 2368359562); /* 32 */

	/* Round 3 */
#define S31 4
#define S32 11
#define S33 16
#define S34 23
	HH(a, b, c, d, in[5], S31, 4294588738); /* 33 */
	HH(d, a, b, c, in[8], S32, 2272392833); /* 34 */
	HH(c, d, a, b, in[11], S33, 1839030562); /* 35 */
	HH(b, c, d, a, in[14], S34, 4259657740); /* 36 */
	HH(a, b, c, d, in[1], S31, 2763975236); /* 37 */
	HH(d, a, b, c, in[4], S32, 1272893353); /* 38 */
	HH(c, d, a, b, in[7], S33, 4139469664); /* 39 */
	HH(b, c, d, a, in[10], S34, 3200236656); /* 40 */
	HH(a, b, c, d, in[13], S31, 681279174); /* 41 */
	HH(d, a, b, c, in[0], S32, 3936430074); /* 42 */
	HH(c, d, a, b, in[3], S33, 3572445317); /* 43 */
	HH(b, c, d, a, in[6], S34, 76029189); /* 44 */
	HH(a, b, c, d, in[9], S31, 3654602809); /* 45 */
	HH(d, a, b, c, in[12], S32, 3873151461); /* 46 */
	HH(c, d, a, b, in[15], S33, 530742520); /* 47 */
	HH(b, c, d, a, in[2], S34, 3299628645); /* 48 */

	/* Round 4 */
#define S41 6
#define S42 10
#define S43 15
#define S44 21
	II(a, b, c, d, in[0], S41, 4096336452); /* 49 */
	II(d, a, b, c, in[7], S42, 1126891415); /* 50 */
	II(c, d, a, b, in[14], S43, 2878612391); /* 51 */
	II(b, c, d, a, in[5], S44, 4237533241); /* 52 */
	II(a, b, c, d, in[12], S41, 1700485571); /* 53 */
	II(d, a, b, c, in[3], S42, 2399980690); /* 54 */
	II(c, d, a, b, in[10], S43, 4293915773); /* 55 */
	II(b, c, d, a, in[1], S44, 2240044497); /* 56 */
	II(a, b, c, d, in[8], S41, 1873313359); /* 57 */
	II(d, a, b, c, in[15], S42, 4264355552); /* 58 */
	II(c, d, a, b, in[6], S43, 2734768916); /* 59 */
	II(b, c, d, a, in[13], S44, 1309151649); /* 60 */
	II(a, b, c, d, in[4], S41, 4149444226); /* 61 */
	II(d, a, b, c, in[11], S42, 3174756917); /* 62 */
	II(c, d, a, b, in[2], S43, 718787259); /* 63 */
	II(b, c, d, a, in[9], S44, 3951481745); /* 64 */

	buf[0] += a;
	buf[1] += b;
	buf[2] += c;
	buf[3] += d;
}


char* MD5_file(const char* path, int md5_len)
{
	FILE* fp = fopen(path, "rb");
	MD5_CTX mdContext;
	int bytes;
	unsigned char data[1024];
	char* file_md5;
	int i;

	if (fp == NULL) {
		fprintf(stderr, "fopen %s failed\n", path);
		return NULL;
	}

	MD5Init(&mdContext);
	while ((bytes = fread(data, 1, 1024, fp)) != 0)
	{
		MD5Update(&mdContext, data, bytes);
	}
	MD5Final(&mdContext);

	file_md5 = (char*)malloc((md5_len + 1) * sizeof(char));
	if (file_md5 == NULL)
	{
		fprintf(stderr, "malloc failed.\n");
		return NULL;
	}
	memset(file_md5, 0, (md5_len + 1));

	if (md5_len == 16)
	{
		for (i = 4; i < 12; i++)
		{
			sprintf(&file_md5[(i - 4) * 2], "%02x", mdContext.digest[i]);
		}
	}
	else if (md5_len == 32)
	{
		for (i = 0; i < 16; i++)
		{
			sprintf(&file_md5[i * 2], "%02x", mdContext.digest[i]);
		}
	}
	else
	{
		fclose(fp);
		free(file_md5);
		return NULL;
	}
	fclose(fp);
	return file_md5;
}

char* MD5(const char* buf, int md5_len)
{
	MD5_CTX mdContext;
	int bytes;
	unsigned char data[1024];
	char* file_md5;
	int i;

	MD5Init(&mdContext);
	MD5Update(&mdContext, (unsigned char*)buf, strlen(buf));
	MD5Final(&mdContext);

	file_md5 = (char*)malloc((md5_len + 1) * sizeof(char));
	if (file_md5 == NULL)
	{
		fprintf(stderr, "malloc failed.\n");
		return NULL;
	}
	memset(file_md5, 0, (md5_len + 1));

	if (md5_len == 16)
	{
		for (i = 4; i < 12; i++)
		{
			sprintf(&file_md5[(i - 4) * 2], "%02x", mdContext.digest[i]);
		}
	}
	else if (md5_len == 32)
	{
		for (i = 0; i < 16; i++)
		{
			sprintf(&file_md5[i * 2], "%02x", mdContext.digest[i]);
		}
	}
	else
	{
		free(file_md5);
		return NULL;
	}
	return file_md5;
}

unsigned int getMD5(const char* buf)
{
	char* b = MD5(buf);
	unsigned int hash = 0;

	// 共32位的加密串 8个字符  4组
	// 5f93f983524def3dca464469d2cf9f3e
	for (int i = 0; i < 8; i++)
	{
		hash += ((int)(b[i * 4 + 3] & 0xFF) << 24)
			| ((int)(b[i * 4 + 2] & 0xFF) << 16)
			| ((int)(b[i * 4 + 1] & 0xFF) << 8)
			| ((int)(b[i * 4 + 0] & 0xFF));
	}

	return hash;
}

一致性哈希算法代码实现

#include <iostream>
#include <string>
#include <set>
#include <list>
#include <map>
using namespace std;

#include "md5.h"

//一致性哈希环的取值类型
using uint = unsigned int;

//前置声明物理节点主机类型
class PhscialHost; 

//虚拟节点
class VirtualHost
{
public:
    VirtualHost(string ip, PhscialHost* p)
        : ip_(ip)
        , phscialHost_(p)
    {
        md5_ = ::getMD5(ip_.c_str());
    }

    bool operator<(const VirtualHost& host) const
    {
        return md5_ < host.md5_;
    }

    bool operator==(const VirtualHost& host) const
    {
        return ip_ == host.ip_;
    }

    uint getMD5() const
    {
        return md5_;
    }

    const PhscialHost* getPhscialHost() const
    {
        return phscialHost_;
    }

private:
    string ip_;//虚拟节点的ip信息
    uint md5_;//虚拟节点在一致性哈希环上的位置
    PhscialHost* phscialHost_;//虚拟节点隶属的物理节点
};

//物理节点
class PhscialHost
{
public:
    PhscialHost(string ip, int vnumber)//ip，虚拟节点的个数 
        : ip_(ip)
    {
        for (int i = 0; i < vnumber; i++)
        {
            //虚拟节点需要一个ip，还需要记录它属于哪个物理节点
            virtualHosts_.emplace_back(
                ip + "#" + ::to_string(i),
                this
            );
        }
    }

    string getIP() const
    {
        return ip_;
    }

    const list<VirtualHost>& getVirtualHosts() const
    {
        return virtualHosts_;
    }
private:
    string ip_;//物理机器的ip地址
    list<VirtualHost> virtualHosts_;//存储虚拟节点列表
};

//一致性哈希算法代码实现
class ConsistentHash
{
public:
    //在一致性哈希环上添加物理主机的虚拟节点
    void addHost(PhscialHost& host)
    {
        //获取物理主机所有的虚拟节点列表
        auto list = host.getVirtualHosts();
        for (auto host : list)
        {
            hashCircle_.insert(host);
        }
    }

    //在一致性哈希环上删除物理主机的虚拟节点
    void delHost(PhscialHost& host)
    {
        //获取物理主机所有的虚拟节点列表
        auto list = host.getVirtualHosts();
        for (auto host : list)
        {
            auto it = hashCircle_.find(host);
            if (it != hashCircle_.end())
            {
                //在一致性哈希环上删除所有物理主机对应的虚拟节点
                hashCircle_.erase(it);
            }
        }
    }

    //返回负载的真实物理主机的ip信息
    string getHost(string clientip) const
    {
        uint md5 = getMD5(clientip.c_str());
        for (auto vhost : hashCircle_)
        {
            if (vhost.getMD5() > md5)
            {
                return vhost.getPhscialHost()->getIP();
            }
        }

        //映射从0开始遇见的第一个虚拟节点
        return hashCircle_.begin()->getPhscialHost()->getIP();
    }
private:
    set<VirtualHost> hashCircle_;//一致性哈希环
};

void ShowConsistentHash(ConsistentHash& chash);

//测试一致性哈希算法的功能
int main()
{
    PhscialHost host1("10.117.124.10", 150);
    PhscialHost host2("10.117.124.20", 150);
    PhscialHost host3("10.117.124.30", 150);

    ConsistentHash chash;
    chash.addHost(host1);
    chash.addHost(host2);
    chash.addHost(host3);

    ShowConsistentHash(chash);

    //模拟host1有故障
    chash.delHost(host1);

    ShowConsistentHash(chash);   
}

void ShowConsistentHash(ConsistentHash& chash)
{
    list<string> iplists{
        "192.168.1.123",
        "192.168.1.12",
        "192.168.1.13",
        "192.168.1.23",
        "192.168.1.54",
        "192.168.1.89",
        "192.168.1.21",
        "192.168.1.27",
        "192.168.1.49",
        "192.168.1.145",
        "192.168.2.34",
        "192.168.6.78",
        "192.168.2.90",
        "192.168.4.5"
    };

    map<string, list<string>> logMap;

    for (auto clientip : iplists)
    {
        string host = chash.getHost(clientip);
        logMap[host].emplace_back(clientip);
    }

    for (auto pair : logMap)
    {
        cout << "物理主机:" << pair.first << endl;
        cout << "客户端映射的数量:" << pair.second.size() << endl;

        for (auto ip : pair.second)
        {
            cout << ip << endl;
        }

        cout << "----------------------------" << endl;
    }
    cout << endl;
}