哈希总结

一：哈希结构

1.1、哈希概念
    顺序结构以及平衡树中，元素关键码与其存储位置之间没有对应的关系，因此在查找一个元素时，必须要经过关键码的多次比较。顺序查找时间复杂度为O(N)，平衡树中为树的高度，即O((log2(N))，搜索的效率取决于搜索过程中元素的比较次数。
    理想的搜索方法：可以不经过任何比较，一次直接从表中得到要搜索的元素。 如果构造一种存储结构，通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立一一映射的关系，那么在查找时通过该函数可以很快找到该元素。
当向该结构中插入元素:
    根据待插入元素的关键码，以此函数计算出该元素的存储位置并按此位置进行存放。
当向该结构中搜索元素:
    对元素的关键码进行同样的计算，把求得的函数值当做元素的存储位置，在结构中按此位置取元素比较，若关键码相等，则搜索成功。

    该方式即为哈希(散列)方法，哈希方法中使用的转换函数称为哈希(散列)函数，构造出来的结构称为哈希表(Hash Table)(或者称散列表)。

1.2、哈希冲突
    对于两个数据元素的关键字 和 (i != j)，有 ki!= kj，但有：Hash(ki) == Hash(kj)，即：不同关键字通过相同哈希函数计算出相同的哈希地址，该种现象称为哈希冲突或哈希碰撞。把具有不同关键码而具有相同哈希地址的数据元素称为“同义词”。

1.3、常用哈希函数
 (1) 直接定址法
    取关键字的某个线性函数为散列地址：Hash（Key）= A*Key + B，优点：简单、均匀，缺点：需要事先知道关键字的分布情况，使用场景：适合查找比较小且连续的情况。
 (2) 除留余数法
    设散列表中允许的地址数为m，取一个不大于m，但最接近或者等于m的质数p作为除数，按照哈希函数：Hash(key) = key% p(p<=m)，将关键码转换成哈希地址。

1.4、哈希冲突解决办法
    解决哈希冲突两种常见的方法是：闭散列和开散列。
(1) 闭散列: 也叫开放定址法，当发生哈希冲突时，如果哈希表未被装满，说明在哈希表中必然还有空位置，那么可以把key存放到冲突位置中的“下一个” 空位置中去。那如何寻找下一个空位置呢？
    线性探测： 从发生冲突的位置开始，依次向后探测，直到寻找到下一个空位置为止。



CPU缓存不命中意思就是出现表满的情况。
线性探测优点：实现非常简单。
线性探测缺点：一旦发生哈希冲突，所有的冲突连在一起，容易产生数据“堆积”，即不同关键码占据了可利用的空位置，使得寻找某关键码的位置需要许多次比较，导致搜索效率降低。
    二次探测：

闭散列最大的缺陷就是空间利用率比较低。
(2) 开散列
  开散列的概念:

  开散列的增容:
    桶的个数是一定的，随着元素的不断插入，每个桶中元素的个数不断增多，极端情况下，可能会导致一个桶中链表节点非常多，会影响哈希表的性能，因此在一定条件下需要对哈希表进行增容，那该条件怎么确认呢？开散列最好的情况是：每个哈希桶中刚好挂一个节点，再继续插入元素时，每一次都会发生哈希冲突，因此，在元素个数刚好等于桶的个数时，可以给哈希表增容。

(3) 开散列与闭散列比较
    应用链地址法处理溢出，需要增设链接指针，似乎增加了存储开销。事实上： 由于开地址法必须保持大量的空闲空间以确保搜索效率，如二次探查法要求装载因子a <= 0.7，而表项所占空间又比指针大的多，所以使用链地址法反而比开地址法节省存储空间。
哈希表代码：https://github.com/xiao-hao-hao/learning-C/blob/master/C%2B%2B/STL/hash_table/hash_table/test.cpp

二、unordered系列关联式容器

    在C++98中，STL提供了底层为红黑树结构的一系列关联式容器，在查询时效率可达到 ，即最差情况下需要比较红黑树的高度次，当树中的节点非常多时，查询效率也不理想。最好的查询是，进行很少的比较次数就能够将元素找到，因此在C++11中，STL又提供了4个unordered系列的关联式容器，这四个容器与红黑树结构的关联式容器使用方式基本类似，只是其底层结构不同。

2.1、unordered_map
    unordered_map是存储<key, value>键值对的关联式容器，其允许通过keys快速的索引到与其对应的value。在unordered_map中，键值通常用于惟一地标识元素，而映射值是一个对象，其内容与此键关联。键和映射值的类型可能不同。在内部,unordered_map没有对<kye, value>按照任何特定的顺序排序, 为了能在常数范围内找到key所对应的value，unordered_map将相同哈希值的键值对放在相同的桶中。unordered_map容器通过key访问单个元素要比map快，但它通常在遍历元素的范围迭代方面效率较低。unordered_map实现了直接访问操作符(operator[])，它允许使用key作为参数直接访问value。

三、哈希的应用

3.1、位图的概念
    所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。

3.2、位图的应用
(1) 快速查找某个数据是否在一个集合中



(2) 求两个集合的交集、并集
(3) 排序

位图代码： https://github.com/xiao-hao-hao/learning-C/blob/master/C%2B%2B/STL/bloomfilter/bloomfilter/test.cpp

3.3、布隆过滤器


(1) 布隆过滤器的插入

(2) 布隆过滤器的查找
    布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。
注意： 布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。
比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但该元素是不存在的。

(3) 布隆过滤器的删除
    布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。比如：删除上图中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，“baidu”元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。
缺陷：
    1. 无法确认元素是否真正在布隆过滤器中
    2. 存在计数回绕(一个不存在的数据因为其他数据的哈希值将该不存在的数据所对应的位的计树变得大于0了)

布隆过滤器优点
    1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
    2. 哈希函数相互之间没有关系，方便硬件并行运算
    3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
    4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
    5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
    6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

布隆过滤器缺陷
    1. 有误判率，存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再建立一个白名单，存储可能会误判的数据)
    2. 不能获取元素本身
    3. 一般情况下不能从布隆过滤器中删除元素
    4. 如果采用计数方式删除，可能会存在计数回绕问题

布隆过滤器代码：https://github.com/xiao-hao-hao/learning-C/blob/master/C%2B%2B/STL/bloomfilter/bloomfilter/test.cpp