考察go一致性hash库

最新推荐文章于 2023-07-10 13:27:49 发布
最新推荐文章于 2023-07-10 13:27:49 发布
阅读量592 收藏 2
点赞数
分类专栏： Golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jq0123/article/details/104440995
版权

考察go一致性hash库

(金庆的专栏 2020.2)

github 搜 consistent, 按星数依次察看

stathat/consistent

Consistent hash package for Go.

688星

stathat 应该是个数据统计的云服务。consistent被认为是生产可用的。
所有文档都在 godoc. 示例和接口简洁易懂。

lafikl/consistent

A Go library that implements Consistent Hashing and Consistent Hashing With Bounded Loads.

575 星

有界负载的一致性哈希算法

示例中是 c.GetLeast() 获取最小负载，不像是一致性hash的应用。
从代码看，应该是最近的未满载，不是最小负载。

MaxLoad()说明显示最大负载是自动设置为 (total_load/number_of_hosts)*1.25。

const replicationFactor = 10

没有一次获取多个的接口。

serialx/hashring

Consistent hashing “hashring” implementation in golang (using the same algorithm as libketama)

367 星

是从 Python 库移植的。可以设置 weight.

示例

replicaCount := 3
ring := hashring.New(serversInRing)
server, _ := ring.GetNodes("my_key", replicaCount)

实际上是 GetN 的功能。内部实现缺少 replicationFactor

buraksezer/consistent

Consistent hashing with bounded loads in Golang

263 星

未提供缺省hash函数。

多了一个PartitionCount

c.loads 仅用于查询负载，并没有用于有界负载。

结论是这个不是有界负载的一致性哈希，同时一致性哈希的实现不同寻常。

其他

jump hash 不能移除节点，不考虑

dgryski/go-jump

go-jump: Jump consistent hashing

281 星

lithammer/go-jump-consistent-hash

⚡️ Fast, minimal memory, consistent hash algorithm

138 星

金庆
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
consistent:一个Go库，该库实现一致性哈希和有界负载的一致性哈希
04-12
包装一致 一致性哈希和有界负载的一致性哈希的Golang实现。 一致的哈希示例 package main import ( "log" "github.com/lafikl/consistent" ) func main () { c := consistent . New () // adds the hosts to the ring c . Add ( "127.0.0.1:8000" ) c . Add ( "92.0.0.1:8000" ) // Returns the host that owns `key`. // // As described in https://en.wikipedia.org/wiki/Consistent_hashing // // It returns ErrNoHosts if the ring has no host
Golang 实现集群与一致性 Hash
金戈鐡馬
04-25 349
单台服务器的CPU和内存等资源总是有限的，随着数据量和访问量的增加单台服务器很容易遇到瓶颈。利用多台机器建立分布式系统，分工处理是提高系统容量和吞吐量的常用方法。使用更多机器来提高系统容量的方式称为系统横向扩容。与之相对的，提高单台机器性能被称为纵向扩容。由于无法在单台机器上无限提高硬件配置且硬件价格与性能的关系并非线性的，所以建立分布式系统进行横向扩容是更为经济实用的选择。我们采用一致性 hash 算法 key 分散到不同的服务器，客户端可以连接到服务集群中任意一个节点。
Golang 一致性Hash算法实现
weixin_46825193的博客
07-17 590
❝一致性 hash 算法是在分布式应用中使用广泛。其主要作用是为了解决服务中的热点问题。例如在分布式数据存储，比如Redis缓存集群、有状态的任务作业等，通过其解决请求的热点问题，并且可...
go 一致性hash
jinchenga的博客
07-10 71
如果服务器的节点过少，容易引起key的倾斜。例如上面的例子中p2、p4、p6分布在环的上半部分，下半部分是空的。那么映射到下半部分的key都会被分配给p2，key过度倾斜到了p2缓存间节点负载不均衡；假设1个真实的节点对应3个虚拟节点，那么p1对应的就是p1-1、p1-2、p1-3。实现原理：将key映射到 2^32 的空间中，将这个数字的首尾相连，形成一个环。，一个真实的节点对应多个虚拟的节点。为了解决这个问题，引入了。
Golang实现一致性Hash算法
何忆清风
09-05 1569
golang实现一致性Hash算法
Go实现一致性哈希算法
哥斯拉啊啊啊哦的博客
05-16 363
想象有一个圆，该圆由 2^32 个数字点组成，这样的环也叫做 哈希环。再假设有3个服务器 a, b, c，此时分别对 a,b,c 服务器进行哈希计算再用 2^32 取模，那结果肯定能对应到环上的某个点。再用同样的方法，对需要缓存的图片进行哈希计算和取模，也肯定能对应到环上的某个点。此时，按顺时针方向找，找到的第一个缓存服务器，就将该图片数据缓存到该服务器上。
go语言实现 一致性hash算法
weixin_44540711的博客
03-31 709
package tool import ( "errors" "hash/crc32" "sort" "strconv" "sync" ) //申明切片类型 type units []uint32 //返回切片长度 func (x units) Len() int { return len(x) } //比较两个值的大小 func (x units) Less(i, j int) bool { return x[i] < x[j] } //切片中值交换 func (x unit
一致性哈希（CONSISTENT HASH）的GO实现
zhanglehes的专栏
03-17 412
一致性hash简介 主要针对多cache的应用场景，当cache服务器变动时，希望cache中的信息尽可能被使用到； 需要做好负载均衡，同时不能因为添加和删除cache节点造成部分节点负载过重； 代码实现 1、类的定义 type SortedKeys []uint32 func (x SortedKeys) Len() int { return len(x) } f...
一致性哈希库：stathat.com/c/consistent
simatongming的博客
01-17 1006
应用场景:  假如你有 N 个 cache 服务器，那么你可能会使用hash(object)%N将对象 object均匀映射到 N 个 cache上，这样可以运行，但是当服务器宕掉或者添加服务器时，映射规则都会改变，所有的cache都会失效。所以需要使用一致性哈希算法避免这种情况。 关于一致性哈希算法可以参考： http://blog.csdn.net/cywosp/article/deta
数据结构STL——golang实现一致性哈希consistentHash
l2975的博客
12-27 611
github仓库存储地址：https://github.com/hlccd/goSTL 概述 ​ 一致性哈希（consistent hash），与一致性哈希相对的是不一致性哈希，但常见的所有的哈希几乎都是不一致的，即哈希桶的容量的不固定的，可以根据需求进行扩容和缩容，不一致性哈希可以提高空间的利用率，但相应的，当进行扩容和缩容操作时需要对桶内存储的所有元素重新计算哈希值，这在某些情况是十分麻烦的事情，特别是在分布式存储的环境下，此时每个哈希结点就相当于一个机器，文件分布在哪台机器由哈希算法来决定，这个系统
开源项目-buraksezer-consistent.zip
10-08
开源项目-buraksezer-consistent.zip,go中有界负载的一致散列
go-jump-consistent-hash：快速，最少的内存，一致的哈希算法
01-31
跳转一致哈希 John Lamping和Eric Veach的跳转一致性哈希算法[1]的实现。 [1] 用法 import jump "github.com/lithammer/go-jump-consistent-hash" func main () { h := jump . Hash ( 256 , 1024 ) // h = 520 } 包括用于将string用作键而不是uint64的辅助函数。 这需要一个哈希器，该Hash()将字符串计算为Hash()接受的格式。 为了方便起见，还包括使用的哈希器。 h := jump . HashString ( "127.0.0.1" , 8 , jump . NewCRC64 ()) // h = 7 实际上，尽管您可能想要使用Hasher所以不必重复存储桶大小和使用的密钥哈希器。 它还使用更方便的类型，例如int而不是int32 。 hasher := jump . New ( 8 , jump . NewCRC64 ()) h := hasher . Hash ( "127.0.0.1" ) // h =
geohash:Golang geohash库
04-23
哈希 Go 库提供字符串和整数geohash的编码和解码。 安装 使用以下方法获取软件包 go get github.com/mmcloughlin/geohash 并将其导入到您的程序中 import "github.com/mmcloughlin/geohash" 用法 func ConvertIntToString func ConvertIntToString ( hash uint64 , chars uint ) string ConvertIntToString将整数geohash转换为具有chars字符的等效字符串geohash。 提供的整数geohash被解释为具有5 * chars的精度。 func ConvertStringToInt func ConvertStringToInt ( hash string ) ( uint64 , uint ) Conve
Go-dolphin是一个集成了api网关服务发现请求限流一致性hash路由
08-13
dolphin是一个集成了api网关，服务发现，请求限流，一致性hash路由，服务调度的统一接入框架，旨在对微服务的开发和依赖做到更加智能的管理，加快开发速度，解决中小团队开发微服务的难度。
一致性hash的PHP库.zip
07-11
}Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的...
C/C++ 一致性hash算法
04-09
一致性hash算法
解决分布式数据插入数据库~一致性hash算法
最新发布
10-27
随着虚拟节点的增加,数据量分配就比较平均了,但是并不是虚拟节点数量越多就越好,因为要考虑这些虚拟节点带来的性能开销以及算法的复杂性;
基于一致性hash算法 C++语言的实现详解
09-05
在《基于一致性hash算法(consistent hashing)的使用详解》一文中已经介绍了一致性hash的基本原理，本文将会对其具体实现细节进行描述，并用c++语言对一致性hash进行了简单的实现
C++实现一致性hash算法
01-03
一致性hash应用于负载均衡算法，本实现由C++语言开发。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Balance)2、单调性(Monotonicity) 3、分散性(Spread)4、负载(Load)
xxljob一致性hash
09-23
一致性hash算法是一种路由策略，它的好处包括可扩展性和良好的容错性。具体实现逻辑是，将地址列表中的每个地址进行hash计算，然后存储到一个有序的数据结构（例如TreeMap）中。当需要发送请求时，将请求的数据进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值