算法笔记（十）—— 哈希函数和哈希表

认识哈希函数和哈希表的实现

哈希函数

哈希函数：输入域无穷，输出域（哈希值）相对有限

哈希函数：相同的输入一定会返回相同的输出值

由于输入域的无限和输出域的有限，不同的输入可能会返回相同的输出（哈希碰撞）

Note：将所有输入对应的输出，将所有输出值%m，得到的值在0~m-1上均匀分布（均匀性）。

Question：有一个无符号整数的文件，数据个数有40亿个，如何通过1G的内存返回出现次数最多的数

1. 对每个数调用哈希函数得到哈希值，将哈希值模上100，进行小文件分类（相同的数一定在同一文件）

2. 将每个小文件内出现次数最大的数进行比较即可

哈希表

通过哈希函数得到输出，通过取余将key-value挂在对应位置处（分桶）。

查找时，通过key对应哈希值来找即可。

布隆过滤器

eg. 目前有100亿个URL，需要通过黑名单来禁止访问（每个URL 64Byte），只需要添查操作。

使用布隆过滤器可以在很少空间内实现，但存在一定的失误率（不可避免），错将不在黑名单的URL认为在黑名单内。—— 宁错杀不放过

1. 使用整形数组来进行bitmap表示

2. 建立一个长度为m的bitmap，实际占用空间m/8 Byte

3. 添加黑名单：将URL通过哈希函数得到输出值%m，将该位设为1，再通过另一个哈希函数，同样处理，一共使用k个哈希函数

4. 查找时，通过同样的k个哈希函数，只有全是1时，判断该URL在黑名单内，有一个不是1，那么该URL不在黑名单内

提高m，会降低失误率，但随着m的逐渐增大，失误率的降低越来越慢。k与失误率的关系为一个对勾函数。

n(样本量)，p(失误率)

单样本的大小和布隆过滤器无关。

m=(n*lnp)/(ln2)^2

k=ln2*m/n=0.7*m/n

p=(1-e(-n*k/m))^k

两个参数都向上取整即可

哈希一致性

用于讨论数据服务器组织的问题，降低数据迁移的成本。

将哈希值的返回域想象成环，假设有三台机器，m1,m2,m3。

 添加的时候只需要，将某个输入对应的哈希值，顺时针放到最近的服务器内即可

增加服务器：将m4与其逆时针最近服务器中间的数给到m4即可

删除服务器：数据全部给到顺时针最近的服务器内

存在的问题：

        1. 机器数量少时做不到分布均衡

        2. 增加或删除机器时会导致负载不均衡

使用虚拟节点解决：m1有一千个代表点，m2有一千个代表点，m3有一千个代表点，使用代表点来进行抢环。