Redis 和 MySQL 分片算法：哈希取模 vs 一致性哈希

码上就行-Java

已于 2024-08-14 11:10:04 修改

阅读量673

点赞数 16

文章标签： redis mysql 哈希算法 java spring 后端 springboot

于 2024-08-14 11:06:49 首次发布

本文链接：https://blog.csdn.net/m0_64022678/article/details/141184634

版权

背景介绍：在分布式系统中，数据的存储和访问一直是一个重要的挑战。为了提高数据的查询效率，通常需要将数据分片存储在多个节点上。本文将探讨 Redis 和 MySQL 中常用的分片算法：哈希取模与一致性哈希，以及它们在扩容和缩容中的表现。
问题陈述：扩容和缩容在分布式环境中如何导致数据访问的不一致性和性能问题，特别是在使用哈希取模算法时。

定义与原理：哈希取模算法是分布式系统中最常见的分片策略之一。它的基本原理是通过对 key 进行哈希运算并取模，以确定数据的存储节点。例如，hash(key) % 3 就是将 key 通过哈希函数生成一个哈希值，然后对 3 取模，以此决定存储在哪个节点上。
使用场景：
下图展示了哈希取模算法在 Redis 和 MySQL 中的应用：在这个图中，Redis 和 MySQL 都采用了 hash(key) % 3 的分片策略。数据根据哈希值被分配到不同的节点上。

描述：虽然哈希取模算法简单且易于实现，但在实际应用中，随着系统规模的扩大或缩小，它存在一些问题。
扩容问题：
当我们增加节点（如 Redis4 或 MySQL4）时，哈希取模算法需要重新计算 key 的哈希值，并对新的节点数量取模。这样就会导致大部分 key 无法再定位到原来的节点上，导致大量的 key 失效或数据需要迁移。例如，原来我们使用 hash(key) % 3，现在变为 hash(key) % 4，则原来映射到 Redis3/MySQL3 的数据，可能会映射到新的节点 Redis4/MySQL4 中，造成了大量的数据迁移和缓存失效。如图所示，扩容后的 Redis 和 MySQL 中，由于哈希取模发生了变化，导致数据必须重新分配。
缩容问题：缩与扩容类似，当系统缩容时，比如从 3 个节点减少到 2 个节点，哈希取模算法同样会导致大量的数据迁移。这是因为 hash(key) % 2 的结果与 hash(key) % 3 的结果不同，导致原来存在于 Redis3/MySQL3 上的数据需要重新分配到 Redis1 或 Redis2，带来同样的缓存失效问题。

一致性哈希的原理：
为了解决哈希取模算法在扩容和缩容时产生的这些问题一致性哈希应运而生。与传统的哈希取模不同，一致性哈希通过一个虚拟的环形结构，将 key 映射到一个 0 到 2^32-1 的哈希环上。在一致性哈希中，每个节点（如 Redis 实例或 MySQL 实例）在这个环上被分配到一个哈希值。数据也通过哈希计算被映射到环上，数据会被存储在顺时针方向上第一个节点中。当我们增加或减少节点时，仅影响环上相邻节点之间的数据迁移，从而极大减少了数据迁移的范围。
一致性哈希的扩展性：在一致性哈希下，扩容或缩容时，仅影响一部分节点间的数据，这样减少了大规模的数据迁移。提供更好的容错性和扩展性。

简述：“一致性哈希环的大小为 2^32，这是因为它利用了 32 位的哈希空间。这种设计允许系统中有足够的哈希值范围来均匀地分布节点和数据。虽然这个大小的选择与 IPv4 地址的位数相对应，但它主要是为了提供一个广泛的哈希空间，以减少冲突并优化数据分布。”

扩容： 当我们向集群中添加新的节点时，只需要将这个新节点在哈希环上进行适当的位置插入。新节点只会影响到它前面的部分数据，也就是哈希值落在新节点与它前一个节点之间的数据。由于一致性哈希的特性，其他数据不会受到影响，这样可以显著减少数据的迁移量。
缩容： 当从集群中删除一个节点时，位于该节点后面的数据会被重新映射到下一个节点上。其他数据同样不会受到影响，这同样减少了大范围的数据迁移问题。
在扩容和缩容中，一致性哈希通过哈希环的顺时针分布，使得大多数数据不需要重新映射，仅有少部分数据会发生节点转移。这种方式极大减小了数据重分布的范围。

1、虚拟节点是对一致性哈希进一步优化的一种机制，用来解决在节点数量较少的情况下数据分布不均匀的问题。

虚拟节点的基本概念： 在一致性哈希中，每个物理节点可以对应多个虚拟节点。虚拟节点在哈希环上随机分布，而一个物理节点可以负责多个虚拟节点的数据。当数据被映射到虚拟节点上时，虚拟节点再将数据转发给对应的物理节点。
通过引入虚拟节点，数据的分布更加均匀，从而避免了“数据倾斜”问题。在节点扩容时，增加虚拟节点可以更细粒度地调整数据的分布，进一步减少数据迁移量。

2. 虚拟节点如何解决数据扩散问题：

哈希取模算法虽然简单易实现，但在扩容和缩容时会导致大量的数据迁移和缓存失效问题。而一致性哈希通过虚拟节点和哈希环结构，极大减少了数据迁移范围，提高了系统的扩展性。Redis 的哈希槽机制在实际应用中进一步优化了一致性哈希的性能，自动化的数据迁移极大简化了运维工作。

选择合适的分片算法对于分布式系统的性能和可扩展性至关重要。根据实际的应用场景，合理地选择哈希取模或一致性哈希，能够显著提升系统的效率和可靠性。

关注