【java】分布式一致性hash算法

已于 2024-07-21 13:42:33 修改
阅读量328 收藏
点赞数
分类专栏： 语言-java生态 分布式原理 文章标签： java 算法 分布式 一致性 hash
于 2021-01-02 21:53:55 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/112116783
版权
语言-java生态 同时被 2 个专栏收录
412 篇文章 483 订阅 ¥19.90 ¥99.00
订阅专栏
分布式原理
16 篇文章 2 订阅 ¥9.90 ¥99.00
订阅专栏
本文主要介绍了分布式一致性Hash算法在解决大量数据存储和查询时的作用，以及它如何应对机器扩容的问题。文章通过对比简单的分配方式，阐述了一致性Hash算法的优势，如减少数据迁移影响，并以Redis为例说明其实际应用。同时，提到了一致性Hash在MySQL分库扩容中的应用。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

本文是视频 视频 的笔记

2. 一致性hash算法哪里用？

在这里插入图片描述
一般情况下如果我们的数据很多，一台机器装不下，我们一般会采用分布式缓存，但是因为是分布式，我们要解决3个问题

  1. 数据怎么存储到分布式机器上，采用什么算法
  2. 数据查询的时候，如何知道我们的相关数据是缓存到那台机器了？
  3. 如果机器扩容的时候，算法如何兼容

在这里插入图片描述

2. 第一种简单类型

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Java实现一致性hash算法
Jaemon
01-01 778
Java实现一致性hash算法
分布式系统中一致性哈希算法
weixin_34365635的博客
05-25 124
1业务场景 近年来B2C、O2O等商业概念的提出和移动端的发展，使得分布式系统流行了起来。分布式系统相对于单系统，解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡，缓存层的多实例主从复制备份，数据层的分库分表等。 我们以负载均衡为例，常见的负载均衡方法有很多，但是它们的优缺点也都很明显： 随机访问策略。系统随机访问，缺点：可能造成服务器负...
一致性哈希 java实现_Java实现一致性Hash算法
weixin_36424234的博客
02-16 169
package com.baijob.commonTools;import java.util.Collection;import java.util.SortedMap;import java.util.TreeMap;/*** 一致性Hash算法* 算法详解：http://blog.csdn.net/sparkliang/article/details/5279393* 算法实现：https:...
java实现分布式环境Hash一致性
小范的博客
01-08 489
一、hash一致性解决的问题 如果一个缓存系统，出现某一个节点宕机，如果采用的是hash(key)%N的方式来操作具体某一台缓存机器，这时候N变成了N-1这样会导致大部分缓存失效(缓存雪崩)，这个是很致命的。如果缓存失效会导致压力转移到数据库DB层，这时DB压力陡增可能导致整个服务不可用。 二、hash一致性的实现原理 大致是将缓存系统的机器(ip端口)通过hash算法[0, 2^32)将
一致性哈希算法
chuangsun的博客
08-19 389
场景： 现在我们假设有100台redis data服务器，一份数据101进来的时候，以散列公式hash(i)&100，计算所存放的服务器，假设hash(i) = i,那么数据被散列到标号为1的服务器,然后这个时候服务器新增了一台，然后散列公式为hash(i)%101，这个时候请求访问数据101的时候，被分配至0号服务器，但是其实这个时候数据是在1号服务器的。 所以这个时候大量的数据失效
解决分布式数据插入数据库~一致性hash算法
最新发布
10-27
一致性哈希算法（Consistent Hashing）是一种常用于分布式系统中的数据分片策略，它有效地解决了数据在多台服务器间均匀分布的问题，同时减少了因节点加入或离开时的数据迁移成本。 首先，一致性哈希的基本原理是将...
PHP实现的一致性Hash算法详解【分布式算法】
10-18
主要介绍了PHP实现的一致性Hash算法,结合实例形式详细分析了php一致性Hash算法的概念、原理及相关实现与使用技巧,需要的朋友可以参考下
C/C++ 一致性hash算法
04-09
一致性哈希算法是一种分布式哈希（Distributed Hash Table, DHT）技术，它在处理大量数据分布到多个节点上时，能保持较好的均衡性和可扩展性。在C/C++编程中，一致性哈希通常用于构建分布式系统，如负载均衡、缓存...
PHP一致性hash分布式算法封装类定义与用法示例
10-18
一致性哈希(Consistent Hashing)是一种分布式系统中用于负载均衡的哈希算法。它解决的是分布式系统中如何在服务器节点变更时尽可能均匀地重新分配原有的数据和负载的问题。传统的哈希算法在服务器数量变动时需要重新...
基于一致性hash算法 C++语言的实现详解
09-05
一致性哈希算法是一种分布式哈希表（DHT）技术，主要设计用来解决分布式系统中数据分片和负载均衡的问题。它的核心思想是在哈希空间中将数据和服务器映射到同一环状空间上，使得数据的分配尽可能均匀，且当服务器...
一致性哈希算法及其在分布式系统中的应用
07-02
本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及 其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题 场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个 算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。
分布式：一致性Hash算法
寓教于乐。教己助人
10-18 95
一致性哈希算法保证了增加或减少服务器时，数据存储的改变最少，相比传统哈希算法大大节省了数据移动的开销更好地适应数据的快速增长。采用一致性哈希算法分布数据，当数据不断增长时，部分虚拟节点中可能包含很多数据、造成数据在虚拟节点上分布不均衡，此时可以将包含数据多的虚拟节点分裂，这种分裂仅仅是将原有的虚拟节点一分为二、不需要对全部的数据进行重新哈希和划分。虚拟节点分裂后，如果物理服务器的负载仍然不均衡，只需在服务器之间调整部分虚拟节点的存储分布。
分布式算法之一致性 Hash 算法
激流丶的博客
06-09 1922
一致性哈希算法（Consistent Hashing）是一种分布式哈希算法，用于在分布式系统中解决节点动态变化带来的数据迁移问题。在一致性哈希算法中，哈希值的范围是一个环形空间，每个节点在环上占据一个位置，数据的哈希值也映射到环上，然后按照顺时针方向找到第一个节点，将数据存储在该节点上。当节点动态变化时，只需要对受影响的数据进行重新哈希，将其映射到新的节点上即可，无需对整个数据集进行重新分配。这种方式可以有效地减少数据迁移的开销，提高系统的可扩展性和稳定性。
分布式系统---一致性hash算法
weixin_40459875的博客
05-13 368
一、一致性hash算法在分布式系统中广泛应用广泛，像redis、memcached等分布式系统采用的都是一致性hash算法。一致性hash算法的基本思想是将对象和和cache都映射到同一个hash数值空间（0~2^32-1）中，并且使用相同的hash算法。接下来我们就来看一下它的实现。二、（1）首先，我们先理解一下环形hash空间。通常hash算法都是将value映射在一个32位的key值中，我们...
分布式算法 - 一致性Hash算法
DeveloperFire的博客
02-24 179
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希(DHT)可以在P2P环境中真正得到应用。一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义:平衡性(Balance): 平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。
hash算法_分布式算法之一致性hash算法
weixin_39627390的博客
12-01 137
背景在解决分布式系统中负载均衡的问题时候可以使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处理一部分请求(并维护这些请求的信息)，起到负载均衡的作用。但是普通的余数hash(hash(比如用户id)%服务器机器数)算法伸缩性很差，当新增或者下线服务器机器时候，用户id与服务器的映射关系会大量失效。一致性hash则利用hash环对其进行了改进。一致性hash原理一致性Has...
java分布式路由算法_分布式算法(一致性Hash算法)
weixin_29826413的博客
02-13 856
转载：https://www.cnblogs.com/moonandstar08/p/5405991.html一、分布式算法在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法....
分布式系统中一致性哈希算法-简介
MayMatrix 的博客
07-07 417
分布式系统中一致性哈希算法 业务场景 近年来B2C、O2O等商业概念的提出和移动端的发展，使得分布式系统流行了起来。分布式系统相对于单系统，解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡，缓存层的多实例主从复制备份，数据层的分库分表等。 我们以负载均衡为例，常见的负载均衡方法有很多，但是它们的优缺点也都很明显： 随机访问策略。系统随机访问，缺点：可能造成服务器负载压力不均衡，俗话讲就是撑的撑死，饿的饿死。 轮询策略。请求均匀分配，如果服
分布式一致性hash算法的特性
ljgxx的博客
07-03 216
单调性(Monotonicity)，单调性是指如果已经有一些请求通过哈希分派到了相应的服务器进行处理，又有新的服务器加入到系统中时候，应保证原有的请求可以被映射到原有的或者新的服务器中去，而不会被映射到原来的其它服务器上去。 分散性(Spread)：分布式环境中，客户端请求时候可能不知道所有服务器的存在，可能只知道其中一部分服务器，在客户端看来他看到的部分服务器会形成一个完整的hash环。如果多个客户端都把部分服务器作为一个完整hash环，那么可能会导致，同一个用户的请求被路由到不同的服务器进行处理。这.
深度解析：Java实现一致性Hash算法
"对一致性Hash算法的深入研究，包括Java代码实现" 一致性Hash算法是一种分布式缓存和负载均衡的解决方案，它的主要目标是在增加或减少服务器节点时，尽可能少地改变已有的数据到服务器的映射关系，从而提高系统的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值