除留余数法python_Python数据结构与算法分析 day19

Python数据结构与算法分析   day19 1

散列

前边我们利用数据集中关于数据项之间排列关系的知识，来将查找算法进行了提升。如果数据项之间是按照大小排好序的话，就可以利用二分查找来降低算法复杂度。现在我们进一步来构造一个新的数据结构能使查找算法的复杂度降为O(1)，这种概念称为散列。

要想使查找的次数降低到常数级别，就要对数据项所处的位置有更多的先验知识。如果我们事先能知道要找的数据项应该出现在数据集中的什么位置就可以直接到那个位置看看数据项是否存在就可以了。又如何由数据项的值来确定存放的位置呢？

散列表(hash table，又称哈希表)是一种数据集，其中数据项的存储方式有利于将来快速的查找定位。散列表中的每一个存储位置称为槽，可以用来保存数据项，每个槽有一个唯一的名称。例如一个包含11个槽的散列表，槽的名称分别为0-10，在插入数据项之前，每个槽的值都是None，表示空槽。

散列函数是实现数据项到存储槽名称的转换，下边示例中，散列函数接受数据项作为参数，返回整数值0-10，表示数据项存储的槽号。

为了将数据项保存到散列表中，我们设计第一个散列函数，数据项：54,26,93,17,77,31。有一种常用的散列方法是求余数，将数据项除以散列表的大小，得到的余数作为槽号。实际上求余数方法会以不同形式出现在所有散列函数里，因为散列函数返回的槽号必须在散列表大小范围之内，所以一般会对散列表大小求余。

本例中我们的散列函数是最简单的求余：h(item)=item % 11，按照散列函数h(item)为每个数据项计算出存放的位置之后，就可以将数据项存入相应的槽中。

元素	54	26	93	17	77	31
散列值	10	4	5	6	0	9

例子中的6个数据项插入后，占据了散列表11个槽中的6个，槽被数据项占据的比例称为散列表的负载因子，这里的负载因子为6/11。

数据项都保存在散列表后，查找就很简单了。要查找某个数据项是否存在于表中，我们只需要使用同一个散列函数对查找项进行计算，对查找项进行计算，测试下返回的槽号所对应的槽中是否有数据项就可以了，实现了O(1)时间复杂度的查找算法。

不过，大家也能看出这个方案的一些问题，这组数据相当凑巧，各自都占据了不同的槽，假如还要保存44，h(44)=0，它就会和77被分配到同一个槽？这种情况称为冲突，我们会在后边讨论这个问题的解决方案。

2

完美散列函数

给定一组数据项，如果一个散列函数能把每个数据项映射到不同的槽中，那么这个散列函数就可以称为完美散列函数。对于固定的一组数据总是能想办法设计完美散列函数。但如果数据项经常性的变动很难有一个系统性的方法来设计对应的完美散列函数。当然，冲突也不是致命的错误，我们会有办法处理的。

获得完美散列函数的一种方法是扩大散列表的容量，大到所有可能出现的数据项都能够占据不同的槽，但这种方法对于可能数据项范围过大的情况并不实用。假设我们要保存手机号(11位数)，完美散列函数的要求散列表具有百亿个槽，会浪费太多的存储空间。退而求其次，好的散列函数需要具备特性：冲突最少(近似完美)、计算难度低(额外开销小)、充分分散数据项(节约空间)。

除了用于在散列表中安排数据项的存储位置，散列技术还用在信息处理的很多领域。由于完美散列函数能够对任何不同的数据生成不同的散列值，如果把散列值当作数据的指纹或者摘要，这种数据被广泛应用在数据的一致性校验上。

由任意长度的数据生成固定的指纹，还要求具备唯一性，这在数学上是无法做到的，但设计巧妙的准完美散列函数却能在实用范围内做到这一点。作为一致性校验的数据指纹函数需要具备以下特性：

压缩性：任意长度的数据，得到的指纹长度是固定的；

易计算性：从原数据计算指纹很容易(从指纹计算原数据是不可能的)；

抗修改性：对原数据的微小变动都会引起指纹的大改变；

抗冲突性：已知原数据和指纹，要找到相同指纹的数据(伪造)是非常困难的。

最著名的近似完美散列函数是MD5和SHA系列函数。MD5将任何长度的数据变换为固定长为128位(16字节)的摘要，128位二进制已经是一个极为巨大的数字空间，据说是地球沙粒的数量；SHA是另一组散列函数，SHA-0/SHA-1输出散列值160位(20字节)，SHA-256/SHA-224分别输出256位、224位，SHA-512/SHA-384分别输出512位和384位。160位二进制相当于10的48次方，地球上水分子数量估计是47次方，256位二进制相当于10的77次方，已知宇宙所有基本粒子大约是72-87次方。

虽然近年发现MD5/SHA-0/SHA-1散列函数，能够以极特殊的情况来构造个别碰撞(散列冲突)，但在实用中从未有实际的威胁。

Python自带MD5和SHA系列的散列函数库：hashlib包括md5/sha1/sha224/sha256/sha284/sha512等六种散列函数。

除了对单个字符串进行散列计算之外，还可以用update方法来对任意长的数据部分来计算，这样不管多大的数据都不会有内存不足的问题。

完美散列函数用于数据一致性检验，数据文件一致性判断，为每个文件计算其散列值，仅对比其散列值就能知道文件内容是否相同；用于网络文件下载完整性检验；用于文件分享系统，网盘中相同的文件可以无需存储多次；加密形式保存密码，仅保存密码的散列值，用户输入密码后计算散列值并比对，不需要保存密码的明文就可以判断用户是否输入了正确密码。

3

散列函数设计

3.1 折叠法

折叠法设计散列函数的基本步骤是将数据项按照位数分为若干段，再将几段数字相加，最后对散列表大小求余得到散列值。

例如对电话号码62767255，可以两位两位分为四段(62、76、72、55)相加(62+76+72+55=265)，散列表包括11个槽那就是265%11=1.所以h(62767255)=1。有些折叠法更进一步，再加总前每隔一个数反转一次，就本例而言，反转后的结果为(62+67+72+55=256),256%11=3。

3.2平方取中法

例如对电话号码62767255，可以两位两位分为四段(62、76、72、55)相加(62+76+72+55=265)，散列表包括11个槽那就是265%11=1.所以h(62767255)=1。有些折叠法更进一步，再加总前每隔一个数反转一次，就本例而言，反转后的结果为(62+67+72+55=256),256%11=3。

平法取中法是将数据项做平方运算，然后取平方数的中间两位，在对散列表的大小求余。

例如对44进行散列，首先44*44=1936,然后取中间的93，对散列表的大小11求余，93%11=5。

3.3 非数项

我们也可以对非数字的数据项进行散列，把字符串的每个字符看做ASII码就可以了，如cat，ord(’c’)==99, ord(’a’)==96, ord(’t’)==116,再将这些整数累加，对散列表进行取余。

为字符串构件简单的散列函数：

当然，这样的散列函数对所有的变位词都返回相同的散列值，为了防止这一点，可以将字符串所在的位置作为权重因子乘以ord值。

我们还可以设计更多的散列函数方法，但要坚持的一个出发点是散列函数不能成为存储过程和查找过程的负担。如果散列函数设计太过复杂，去花费大量的计算资源计算槽号还不如简单的进行顺序查找或者二分查找。

End