数据结构与算法——17. 散列（哈希）与完美散列函数

一、散列（Hashing）的概念

在查找算法中，如果数据项之间是按照大小排好序的话，就可以利用二分查找来降低算法复杂度。现在我们沿着这个思路，在存放数据时花点心思：构造一个新的数据结构，能使得查找算法的复杂度降到$O(1)$。

如果我们事先能知道要找的数据项应该出现在数据集中的什么位置，就可以直接到那个位置看看数据项是否存在即可。于是，现在的问题就成了：如何由数据项的值来确定其存放位置？

• 散列表（hash table，又称哈希表）是一种数据集，其存储数据项的方式，有利于将来快速的查找定位。

• 散列表中的每一个存储位置，称为槽（slot），可以用来保存数据项，每个槽有一个唯一的名称。

• 实现从数据项到存储槽名称的转换的，称为散列函数（hash function）。

• 而散列就是指散列函数所进行的那一过程，即将任意数据项转换为固定长度输出的过程。

举例说明

例如：一个包含11个槽的散列表，槽的名称分别为0～10。在插入数据项之前， 每个槽的值都是None，表示空槽。

散列函数接受数据项作为参数，返回整数值0～10，表示数据项存储的槽号（名称）。

“求余数”是一种常用的散列方法，将数据项除以散列表的大小，得到的余数作
为槽号。因为散列函数返回的槽号必须在散列表大小范围之内，所以一般会对散列表大小求余。（实际上“求余数”方法会以不同形式出现在所有散列函数里）

我们这里也使用求余运算作为散列函数：$h(item)=item\%11$

数据项（item）	散列值（hash value）
54	10
26	4
93	5
17	6
77	0
31	9

按照散列函数$h(item)$，为每个数据项计算出存放的位置之后，就可以将数据项存入相应的槽中。槽被数据项占据的比例称为散列表的“负载因子”，这里负载因子为6/11。

数据项都保存到散列表后，查找就无比简单：我们只需要使用同一个散列函数，对查找项进行计算，测试下返回的槽号所对应的槽中是否有数据项即可。实现了$O(1)$时间复杂度的查找算法。

此时，我们发现了一个问题：上面的数据相当凑巧，各自占据了不同槽，假如还要保存44，$h(44)=0$，它跟77被分配到同一个0号槽中，这种情况称为“冲突collision”，我们后面会讨论到这个问题的解决方案。

二、完美散列函数

给定一组数据项，如果一个散列函数能把每个数据项映射到不同的槽中，那么这个散列函数就可以称为“完美散列函数”。

对于固定的一组数据，总是能想办法设计出完美散列函数。但如果数据项经常性的变动，就很难有一个系统性的方法来设计对应的完美散列函数。当然，冲突也不是致命性的错误，我们会有办法处理的。

获得完美散列函数的一种方法是扩大散列表的容量，大到所有可能出现的数据项都能够占据不同的槽。但这种方法对于可能数据项范围过大的情况并不实用，假如我们要保存手机号（11位数字），完美散列函数得要求散列表具有百亿个槽！会浪费太多存储空间。

综上，好的散列函数需要具备特性：

• 冲突最少（近似完美）；
• 计算难度低（额外开销小）；
• 充分分散数据项（尽量均匀分布在各个槽中，以节约空间）。

1. 数据的一致性校验

由于完美散列函数能够对任何不同的数据生成不同的散列值，如果把散列值当作数据的“指纹”或者“摘要”，这种特性被广泛应用在数据的一致性校验上。

作为一致性校验的数据“指纹”函数需要具备如下的特性：

• 压缩性：任意长度的数据，得到的“指纹”长度是固定的；
• 易计算性：从原数据计算“指纹”很容易；（从指纹计算原数据是不可能的）；
• 抗修改性：对原数据的微小变动，都会引起“指纹”的大改变；
• 抗冲突性：已知原数据和“指纹”，要找到相同指纹的数据（伪造）是非常困难的。

最著名的近似完美散列函数是MD5和SHA系列函数：

• MD5（Message Digest）将任何长度的数据变换为固定长为128位（16字节）的“摘要”。128位二进制已经是一个极为巨大的数字空间：据说是地球沙粒的数量。
• SHA（Secure Hash Algorithm）是另一组散列函数：
  • SHA-0/SHA-1输出散列值160位（20字节），160位二进制相当于10的48次方，地球上水分子数量估计是47次方。
  • SHA-256/SHA-224分别输出256位、224位，256位二进制相当于10的77方，已知宇宙所有基本粒子大约是72～87次方。
  • SHA-512/SHA-384分别输出512位和384位。

虽然近年发现MD5/SHA-0/SHA-1三种散列函数，能够以极特殊的情况来构造个别碰撞（散列冲突），但在实用中从未有实际的威胁。

Python自带MD5和SHA系列的散列函数库：hashlib，包括了md5 / sha1 / sha224 / sha256 / sha384 / sha512等6种散列函数。简单用法可以参考我的文章：传送门。

2. 完美散列函数用于数据的一致性校验

为每个文件计算其散列值，仅对比其散列值即可得知是否文件内容相同。用于网络文件下载完整性校验：

• 文件下载：文件提供网站通常会提供散列值，可以帮助用户校验下载的文件是否有损坏，或者被篡改过。
• 网盘秒传：我们在向网盘上传文件时（尤其是电影），由网盘客户端在本地计算好散列值，上传给网盘服务器，网盘服务器就会寻找是否已有与该散列值相同散列值的文件。如果有，就说明该文件已经被人上传到了，无需重复上传，只需将已有文件链接到我们的账户下，以此实现秒传。
• 密码保存：加密形式保存密码，仅保存密码的散列值，用户输入密码后，计算散列值并比对；无需保存密码的明文即可判断用户是否输入了正确的密码。
• ……