一致性哈希概念与Python的简单实现

最新推荐文章于 2024-05-20 22:54:06 发布
最新推荐文章于 2024-05-20 22:54:06 发布
阅读量6.2k 收藏 2
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fjslovejhl/article/details/40831925
版权
一致性哈希在分布式系统中扮演重要角色，解决了服务器增减导致所有Key重新分布的问题。通过Key和服务器的哈希值在闭圆上分布，找到大于Key哈希值的第一个服务器存储Key。当服务器变动时，仅影响部分Key。为了均匀分布，常使用虚拟节点。本文提供了一个简单的Python实现。
摘要由CSDN通过智能技术生成

好像从开始接触Zookeeper的时候就知道了有一致性哈希这东西。。。。不过倒是一直都没有去了解这到底是个啥东西。。。只是知道它在分布式系统设计中有十分重要的作用。。。。


好了，接下来用举例子的方式来说一下一致性哈希到底有啥用吧。。。场景如下：

当前有4台服务器组成的分布式缓存系统，这里对于一个Key，通过哈希的方式，将其保存到某一台服务器上。。。


对于一般的哈希算法，我们首先会想到用一些哈希算法来获取Key的哈希值，例如MD5啥的。。。接着进行一次取模的操作，通过余数来确定将这个Key保存到哪一台服务器上。。。

嗯，这种方法确实很简单。。。不够缺存在很大的问题：

当系统中某一台服务器退出了之后，那么对于所有Key的哈希分布都得重新来过，以前的缓存也就基本失效了。。。

同时：

如果在系统中加入新的服务器，所有的Key的哈希分布也都失效了。。。


接下来就可以引入一致性哈希了。。。它就是用

最低0.47元/天 解锁文章
fjs_cloud
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 实现 一致性哈希算法
04-19
一致性哈希算法
一致性hash以及python代码实现
tanghaiyu777的专栏
02-16 4280
背景：自己之前的项目里面使用了redis作为KV存储，不仅是因为性能，主要是需要用redis的hash数据结构。后来随着业务发展，读写压力越来越大，一开始的做法是读写分离，接着一主多从，发现还是不能很好的解决写redis的压力，又因为自己使用的redis版本比较低还不支持分布式的功能，所以自己想去部署一套分布式的redis存储系统，开始想到的做法是简单的做个hash，hashcode=hash(ke
Python实战开发及案例分析（31）—— 哈希算法
最新发布
贾贾的博客
05-20 1467
哈希算法（Hash Algorithm）是一种将输入数据映射到固定大小的输出（通常是一个整数或字符串）的算法。哈希算法广泛应用于数据结构（如哈希表）、加密、数据校验等领域。下面将详细介绍哈希算法的基本原理，并通过具体案例展示如何在Python中实现和应用哈希算法。
python下实现一致性hash
weixin_34037173的博客
01-19 157
2019独角兽企业重金招聘Python工程师标准>>> ...
一致性哈希与python实现
深海微澜
12-19 2011
使用场景 问题：假设我们有 5 台 MySQL 服务器，然后对数据库进行水平拆分。应该怎么做？ 最简单的做法是利用哈希，也就是对于插入表中的数据，我们对记录的 id 进行哈希映射到 0～4 的区间，然后根据哈希结果保存到对应的 MySQL 服务器中。 这个方案乍一看问题不大，但是，在不考虑冗余备份的情况下，我们考虑一下如果其中一台数据库宕机了，我们的数据就会因为这种哈希算法而乱掉，我们就需要...
哈希运算python实现_一致性哈希算法 python实现
weixin_33765908的博客
12-23 297
# -*- coding: utf-8 -*-"""一致性哈希算法 python实现参考http://weblogs.java.net/blog/2007/11/27/consistent-hashinghttp://code.google.com/p/flexihash/http://www.codinglabs.org/html/consistent-hashing.html"""import...
使用python的 一致哈希算法_python_代码_下载
06-08
Python实现一致哈希通常会用到以下几个核心概念： 1. **哈希函数**：首先，我们需要一个哈希函数，它可以将任意数据（如字符串、整数）转换为固定长度的哈希值。Python内置的`hash()`函数就可以满足这一需求，但其...
uhashring:与ketama兼容的全功能一致哈希Python库
05-15
uhashring在纯Python中实现一致的哈希。 一致的散列主要用于分布式系统/缓存/数据库，因为这样可以避免在环中添加或删除节点时（在libketama上称为continuum）完全替换键-节点映射。 有关更多信息和细节，请参见...
解决分布式数据插入数据库~一致性hash算法
10-27
在文件名为“distribute-mysql”的压缩包中，可能包含了关于如何在Java环境中利用一致性哈希实现在MySQL分布式环境中的数据插入、查询以及优化等方面的代码示例和指南。通过对这些资源的深入学习和实践，可以更好地...
带虚拟节点的一致性哈希
07-31
一致性哈希（Consistent ...在实际开发中，可以参考开源工具如Java的Jedis库、Python的pylibmc等，它们都内置了一致性哈希的实现。同时，深入研究相关源码能帮助我们更好地掌握其工作细节，以便在项目中灵活应用。
简述一致性哈希算法
Antz Uhl Kone
10-05 224
今天早上逛B站的时候首页给我推荐了一个视频，关于面试中一致性哈希算法的回答，好奇心驱使我点了进去。 时长：1小时半... 很纳闷为什么这个浅显易懂的概念需要讲这么久，越来越多培训机构的营销号在发一些明明10分钟解决的问题却要将几个小时的视频，打上一些骗小白的标题，浪费几个小时看完直接会自闭。 引入问题 我们先来看一个分布式缓存的应用前景。 我们有三台缓存服务器S0,S1,S2。 现在有3...
consistent:Node.JS 的快速一致性哈希模块
07-03
持续的 Node.JS 的一致性哈希模块 安装 npm install consistent 用法 var consistent = require ( 'consistent' ) ; var ring = consistent ( { members : [ "member1" , "member2" , { key : "member3" , weight : 1.5 // optional, default weight is 1 } ] , hash : 'md5' // can use 'md5' or 'murmurhash' } ) ; console . log ( ring . get ( 'some key' ) ) ; // outputs member1 or member2 or membe
Python实现一致性hash（不设置虚拟节点与设置虚拟节点的对比）
暗焰之珩的博客
10-09 3122
一致性hash的原理介绍，前人已经做的很清楚了，可以参看下面链接： 一致性HASH算法详解 上文美中不足的是，数据结构的设计较复杂，hash环的实现，属性用简单的列表和字典实现即可。 一致性哈希（不设置虚拟节点） 首先放不设置虚拟节点的代码，可以看见删除掉某个节点时很容易引起雪崩效应，代码如下。 """对一致性hash进行学习，构造没有vnode的hash，增加和删除节点以进行观察，会...
python 一致性哈希 分布式
weixin_34128501的博客
07-26 87
hash_ring # -*- coding: utf-8 -*- """ hash_ring ~~~~~~~~~~~~~~ Implements consistent hashing that can be used when the number of server nodes can increase or decrease (like in ...
python 一致性hash
weixin_33961829的博客
05-04 79
https://pypi.python.org/pypi/hash_ring/一致性 哈希 自己玩下 试试  
python的一致性算法hash_ring
weixin_34309435的博客
11-10 422
下载地址：https://pypi.python.org/pypi/hash_ring/ 简单的说:如果你服务器部署多个redis,memechace想要客户端通过负载均衡的方式访问，就要用到这个hash_ring........... 转载于:https://blog.51cto.com/whf191/1711469...
python dict hash算法_python3 一致性hash算法
weixin_42410443的博客
02-02 187
python3 一致性hash算法量少的场景, 一致性hash不均匀的问题很难解决，加500个虚拟节点也不是很管用算法很简单，自己用函数写了一下，仅供参考：python3代码展示：import hashlibserver_ip_list = ["192.168.1.10", "192.168.2.20", "192.168.3.30","192.168.4.40"]client_ip_list =...
python原理性东西_一致性hash原理及实现（python版）
weixin_33640304的博客
01-29 344
使用背景用户的每一次动态数据的请求，都涉及数据库的访问。而一个系统中，数据库往往是最脆弱的缓解，为了缓解数据库的读压力，通常会将热点数据放入缓存。当用户进行数据请求时，先访问缓存，若有数据直接返回，没有，才进行数据库的查询，并将访问结果写回缓存。从而，挡住读访问的大部分流量。缓存存储的数据量很大，所以，一般需要搭建缓存服务器集群，这样就需要把不同的数据放入不同的缓存服务器，当用户请求到来时，根据用...
一致性hash 之 python实现
weixin_34413357的博客
08-28 114
http://amix.dk/blog/post/19367I have implemented consistent hashing in Python. The module is called hash_ring and you can get it right away. This post will explain the motivation behind the project an...
哈希一致性算法的python实现
06-03
好的，这里给您提供一个基于一致性哈希算法的 Python 实现： ```python import hashlib class ConsistentHash: def __init__(self, nodes=None, replicas=3): self.replicas = replicas self.ring = {} self._sorted_keys = [] if nodes: for node in nodes: self.add_node(node) def add_node(self, node): for i in range(self.replicas): replica_key = self.get_hash_key("{}_{}".format(node, i)) self.ring[replica_key] = node self._sorted_keys.append(replica_key) self._sorted_keys.sort() def remove_node(self, node): for i in range(self.replicas): replica_key = self.get_hash_key("{}_{}".format(node, i)) del self.ring[replica_key] self._sorted_keys.remove(replica_key) def get_node(self, key): if not self.ring: return None hash_key = self.get_hash_key(key) for node_key in self._sorted_keys: if hash_key <= node_key: return self.ring[node_key] return self.ring[self._sorted_keys[0]] @staticmethod def get_hash_key(key): return int(hashlib.md5(key.encode()).hexdigest(), 16) ``` 这里的 ConsistentHash 类实现了一致性哈希算法，可以很方便地添加节点并且根据关键字获取节点。其中，replicas 参数表示每个节点的虚拟节点数，可以根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值