hash定义
hash也称散列、哈希。把任意长度的输入通过散列算法变换成固定长度的输出,该输出就是散列值。
hash算法
- 加法、乘法、除法等
- 位运算
- 除留余数
h(k) = k % m
- 平方取中法。取关键字平方后的中间几位作为散列地址。
hash算法的特点
- 不可逆,从hash值不可以反向推导出原始的数据,既散列算法的不可逆性。
- 计算高效
- 分布均匀,hash算法的冲突概率要小
hash 冲突
由于hash的原理是将输入空间的值映射成hash空间内,而hash值的空间远小于输入的空间。根据抽屉原理,一定会存在不同的输入被映射成相同输出的情况。那么作为一个好的hash算法,就需要这种冲突的概率尽可能小。
影响冲突的因素
- 散列函数是否均匀;
- 处理冲突的方法;
- 散列表的装填因子。
散列表的装填因子定义为:α= 填入表中的元素个数/散列表的长度,如果大于某个值,可以再开辟一份更大空间
解决冲突
开放地址法
M个数组要存储N个元素(M>N),当发现冲突的时候,就去寻找下一个空的散列表地址,就以当前地址为基准,根据再寻址的方法(探查序列),去寻找下一个地址,若发生冲突再去寻找,直至找到一个为空的地址为止。
链地址法
使用一个链表数组,当发生冲突时,依次将数据添加到链表的后面。
再hash法
当发生哈希冲突时使用另一个哈希函数计算地址值,直到冲突不再发生。这种方法不易产生聚集,但是增加计算时间,同时需要准备许多哈希函数。
建立一个公共溢出区
采用一个溢出表存储产生冲突的关键字。如果公共溢出区还产生冲突,再采用处理冲突方法处理。
hash 用途
数据校验
对于大文件传输,会分成多个小块进行传输,如果传输出现错误,可以通过文件传输前后的hash值对比出来
信息加密
客户端对用户输入密码进行hash加密,服务器端保存用户密码的hash值,进行对比
一致性hash
问题
在处理分布式系统中负载均衡问题,可以使用hash算法将多个用户请求到一台服务器上,每台服务器处理一部分请求,实现负载均衡。使用除留余数h(k) = k % m
作为hash函数,不具有伸缩性,当添加删除一个服务器时,每个服务器的id变化很大,导致用户请求缓存无效。
一致性hash
所谓一致性hash是对2^32取模,将整个Hash空间组织成一个虚拟的圆环。
将服务器和用户请求都进行相同的hash,用户请求以当前hash值沿着顺时针查找,分配到的第一个服务器上。
虚拟节点
但是这样还会出现负载不均衡的情况,一个服务器处理请求特别多。添加虚拟节点,是实际节点(实际的物理服务器)在hash环上的复制品,一个实际节点可以对应多个虚拟节点。虚拟节点越多,hash环上的节点就越多,数据被均匀分布的概率就越大。