crc32算法_每天进步一点的一致Hash算法

最新推荐文章于 2024-07-30 20:54:28 发布
最新推荐文章于 2024-07-30 20:54:28 发布
阅读量1.1k 收藏 1
点赞数
文章标签： crc32算法 hash crc32 hash 值重复 hash算法
一致性Hash算法在分布式系统中用于负载均衡，通过 crc32 算法实现，减少服务器增减带来的缓存失效问题。文章介绍了除余法的局限性和一致性Hash的工作原理，包括虚拟节点的概念，以解决负载不均衡。在动态Cache环境中，良好的哈希算法需具备平衡性、单调性、分散性和负载等特性。
摘要由CSDN通过智能技术生成

概述

一致Hash在分布式应用中,是常见的负载均衡方式,多用于资源请求映射分散到具体某一台节点服务器,使得每一台服务器能固定处理部分请求,同时,能较小的减少由于动态增减服务器节点带来请求的失效，保证系统更好对外提供服务。

从问题的发展引入思考

851bd8706b7b4c1e26f4843da6f4b33e.png

图1.假设现在有200万张图片资源，需要随机的分配到3台服务器

除余法

很多人一下子就想到了除余法,通过给每个图片唯一编号(较少的情况),或者通过hash文件名(假设文件名不重复)得到唯一的数字串,然后除余就能随机存放到服务器。

hash(文件名) % n

正常情况下这个算法已经基本满足,因为每次除余之后必然会得到0,1,2三个数,分别对应三台服务器,下次需要找回这些图片资源只要按同样的方式hash之后就能在对应服务器找到。

但是当图片资源过多无法满足需要增加一台服务器的时候,因为除数的改变,带来余数的改变,也就是服务器数量的改变,带来存储位置的改变,之前存储的图片资源失去了意义,在缓存服务器中,这会导致大量缓存失效,造成缓存的雪崩,为了解决这些问题,一致性hash应运而生。

揭开一致性Hash神秘面纱

首先了解一下

最低0.47元/天 解锁文章
weixin_39585761
关注
hash crc32_一致性Hash
weixin_39887715的博客
11-21 521
概念： 分布式环境下，通过将某个服务节点（其他资源也一样）进行hash运算后映射到一个数据环上（一般大小为2的32次方），之后请求访问节点时按照顺时针选取最近的节点。特性： 1）平衡性(Balance) 2）单调性(Monotonicity） 3）分散性(Spread) 4）负载(Load) 5）平滑性(Smoothness)hash算法：crc32_hash、fnv1_3...
hash crc32_一致性hash算法(golang)
weixin_39781143的博客
11-21 659
往事还记得刚毕业入职到新公司的时候, 我的上级领导与前端同学解释后端技术栈庞杂. 大概记得举了一个例子是 “如何多台机器提供数据缓存存储服务?” , 扭头问了我一下, 当时直接说使用 hash取模 的方式分摊数据。接着我肯定被追问一台机器挂了怎么办, 怎么减少节点挂掉的影响, 结果是被鄙视了, 从那以后也就记住了 一致性hash 这个词.虽然工作时间也不短了, 但是现在再问我 一致性ha...
CRC32算法（包含动态和静态）C++代码和实例程序
01-09
网上找到的CRC32的实现的代码和实例： 提供C++文件流，W32 I/O，内存映射文件和内联汇编四种方法的动态/静态CRC32代码。附DEMO程序比较8种方法的实际效率，学习CRC32必备
crc32校验的c语言实现
热门推荐
lickylin的专栏
08-12 4万+
最近在做软件升级，需要对升级文件进行crc校验，就学习了crc的实现原理 crc就是一个数值，该数值用于检验数据的正确性，crc校验的原理就是将需要作校验的数据与一个数据模2相除，得到的余数即为校验值。       模2相除就是在除的过程中用模2加，模2加实际上就是异或运算，就是不进行进位操作，即相同为假，不相同为真。 下面是几种CRC校验的生成多项式： CRC8 = X8+X
go语言的Hash算法
princewwj的专栏
05-09 8473
// Hash project main.gopackage main import ( "crypto/md5" "crypto/sha1" "crypto/sha256" "crypto/sha512" "fmt" "io" "os" ) func main() { //输入字符串测试开始. input := "abcdefghijk
CRC-32(crc32)算法
飞翔的专栏
04-14 1501
static const unsigned long crctab[256] ={ 0x00000000L, 0x77073096L, 0xee0e612cL, 0x990951baL, 0x076dc419L, 0x706af48fL, 0xe963a535L, 0x9e6495a3L, 0x0edb8832L, 0x79dcb8a4L, 0xe0d5e91eL, 0x97d2d
go 字符串替换_完全GO语言实现的短网址微服务，可自用，可部署，美呆了
weixin_39936086的博客
11-22 213
我是@程序员小助手， 本文从技术角度，对短网址进行深度挖掘。前言网上已经有产品，用着还不错。可是，作为程序员，从零开始造轮子，开发一个属于自己的短网址服务器，这想法amazing！通过本文，读者可明白短网址的技术原理，以及通过Go语言实现一个短网址服务。简明教程短网址为什么存在？微博等产品的兴起，活跃了网上的社交圈内大多数用户。但是微博一般有140字限制，如果不转发，单纯评论文字，再加上一段网址，...
CRC.rar_CRC32C的多项式_T10 DIF CRC算法_dif 10的crc计算
09-24
8. `crc32hash.c`：这可能是一个使用CRC32进行哈希运算的实现，可能用于快速查找或数据校验。 通过分析这些源代码，我们可以深入理解CRC算法的不同实现方式，以及它们在不同场景下的应用。无论是直接计算还是查表法...
makeCRC_哈希算法_简单的CRC16算法_数据校验_
10-01
而哈希算法则更多地用于数据完整性校验，例如在文件下载或备份时，通过比较源文件和目标文件的哈希值来确认文件是否一致。 "makeCRC"可能是一个工具或程序，用于生成CRC16校验码。使用这样的工具，用户可以输入数据...
hash.rar_HASH算法_fpga hash_hash_zebra85v_哈希表Verilog
07-14
标题中的“hash.rar_HASH算法_fpga hash_hash_zebra85v_哈希表Verilog”揭示了这个压缩包文件的主要内容，它涉及到哈希（Hash）算法在高速Field-Programmable Gate Array（FPGA）上的实现，以及与Zebra85v硬件平台和...
CRC32算法实现
12-14
Cyclic Redundancy Check (CRC) codes
java 实现的CRC32算法
12-02
用java 编写实现的CRC32算法，很详细
Go-容易生成容易比较的hash使用hmac
08-14
容易生成,容易比较的hash使用hmac
CRC32校验码算法
12-30
CRC32校验码算法，由于项目需要，解决一个流媒体文件的crc32校验码。网上查了很多的资料，发现了此校验码和生成多项式以及算法本身都有关系。对于不同类型的文件所使用的多项式以及算法不同，对于不同的生成多项式所生成的crc32表不同，不同的算法也会产生不同的结果。下面分类比较两种不同用途的crc32校验码的计算方法。 1、普通文件（如压缩文件）的crc32校验码计算方法： 生成多项式采用0xEDB88320，所生成的表为： /* This polynomial ( 0xEDB88320L) DOES generate the same CRC values as ZMODEM and PKZIP */ typedef unsigned int u_int32_t ; typedef unsigned char u_char;
CRC32算法(VB)
张彤的专栏
01-07 3024
VERSION 1.0 CLASSBEGIN  MultiUse = -1  TrueENDAttribute VB_Name = "cCRC32"Attribute VB_GlobalNameSpace = FalseAttribute VB_Creatable = TrueAttribute VB_PredeclaredId = FalseAttribute VB_Exposed = Fal
IEEE802.3中的CRC32算法
最新发布
千月星跡
07-30 1150
发送端：发送端根据信息字段与生成多项式生成一个CRC码，CRC码作为数据发送给接收端，同时也会把计算出的校验字段的数据一同发送(注：目的是如果接受端检测到发送的数据是正确的，接收端能够从CRC码中提取出信息字段的数据)。接收端：接收到CRC码数据后，检测接收到的数据是否正确，方法：将CRC码数据与生成多项式进行模2除，如果余数为0，则说明接收到的数据是正确的。然后，从CRC码中提取出信息字段的数据。处理完所有字节后，将最终得到的CRC寄存器中的值进行异或操作，即可得到最终的CRC32校验和。
hash crc32_图解一致性hash算法和实现
weixin_39886619的博客
11-18 1922
更多内容，欢迎关注微信公众号：全菜工程师小辉~一致性hash算法是什么？一致性hash算法，是麻省理工学院1997年提出的一种算法，目前主要应用于分布式缓存当中。一致性hash算法可以有效地解决分布式存储结构下动态增加和删除节点所带来的问题。在Memcached、Key-Value Store、Bittorrent DHT、LVS中都采用了一致性hash算法，可以说一致性hash算法是分布式系统负...
CRC32计算方法
爱就是是恒久忍耐的专栏
05-28 9313
最近项目中要使用crc32来计算checksum，先是使用python3的zilib库进行计算，算出的值作为参考（使用zlib.crc32()方法）。然后使用网上拷贝的C代码来算，结果算出的crc32值与zlib.crc32()算出的不相等，于是又从网上找了各种计算crc32的C代码，发现都不相等… 所以，本人决定从zlib源码下手去进行探索，下面是整个过程。 一 Python3计算crc32 使用以下代码生成crc32作为标准值， import zlib bytesData = b"\x01\x02\
关于 CRC32 核验算法
jhkwei的专栏
04-26 192
而 AQ，BQ 分别为 a, b 异或除以 c 的余数，A，B 分别为 a, b 异或除以 c 的商，至于证明这个等式，我不会。
C# CRC32 算法
06-02
CRC32（循环冗余校验）算法是一种常用的数据校验算法，它可以用于检测数据传输过程中是否出现了错误。 在 C# 中，可以使用 System.Security.Cryptography 命名空间下的 CRC32 类来实现 CRC32 算法。下面是一个简单的示例代码： ```csharp using System; using System.Security.Cryptography; public class CRC32Example { public static string GetCRC32(string input) { byte[] bytes = System.Text.Encoding.UTF8.GetBytes(input); using (var crc32 = new CRC32()) { byte[] hash = crc32.ComputeHash(bytes); return BitConverter.ToString(hash).Replace("-", "").ToLower(); } } } public class CRC32 : HashAlgorithm { private const uint DefaultPolynomial = 0xedb88320u; private const uint DefaultSeed = 0xffffffffu; private uint hash; private readonly uint seed; private readonly uint[] table; private static uint[] defaultTable; public CRC32() { table = InitializeTable(DefaultPolynomial); seed = DefaultSeed; Initialize(); } public CRC32(uint polynomial, uint seed) { table = InitializeTable(polynomial); this.seed = seed; Initialize(); } public override void Initialize() { hash = seed; } protected override void HashCore(byte[] array, int ibStart, int cbSize) { hash = CalculateHash(table, hash, array, ibStart, cbSize); } protected override byte[] HashFinal() { byte[] hashBuffer = UInt32ToBigEndianBytes(~hash); this.HashValue = hashBuffer; return hashBuffer; } public override int HashSize => 32; private static uint[] InitializeTable(uint polynomial) { if (polynomial == DefaultPolynomial && defaultTable != null) return defaultTable; uint[] createTable = new uint[256]; for (int i = 0; i < 256; i++) { uint entry = (uint)i; for (int j = 0; j < 8; j++) if ((entry & 1) == 1) entry = (entry >> 1) ^ polynomial; else entry = entry >> 1; createTable[i] = entry; } if (polynomial == DefaultPolynomial) defaultTable = createTable; return createTable; } private static uint CalculateHash(uint[] table, uint seed, byte[] buffer, int start, int size) { uint crc = seed; for (int i = start; i < size; i++) unchecked { crc = (crc >> 8) ^ table[buffer[i] ^ crc & 0xff]; } return crc; } private static byte[] UInt32ToBigEndianBytes(uint x) { return new byte[] { (byte)((x >> 24) & 0xff), (byte)((x >> 16) & 0xff), (byte)((x >> 8) & 0xff), (byte)(x & 0xff) }; } } ``` 使用示例： ```csharp string input = "Hello, World!"; string crc32 = CRC32Example.GetCRC32(input); Console.WriteLine("CRC32 校验值为：" + crc32); ``` 输出结果： ``` CRC32 校验值为：6f2f7a8c ``` 以上代码实现了一个简单的 CRC32 算法，可以用于计算任意字符串的校验值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值