散列表（中）：如何打造一个工业级水平的散列表？

思考题：

        如何设计一个可以应对各种异常情况的工业级散列表，来避免在散列冲突的情况下，散列表性能的急剧下降，并且能够抵抗散列碰撞攻击？

       散列碰撞攻击的原理是：由于散列表的性能很差，查询数据的时候需要消耗大量的CPU和线程资源，导致系统无法响应其他请求，从而无法达到拒绝服务器攻击（Dos）的目的。

1、如何设计散列函数？

• 散列函数的设计不能太复杂
• 散列函数的生成值要尽可能的随机并且均匀分布

2、装载因子过大怎么办？

        装载因子过大，说明散列表中的元素越来越多，空闲位置越来越少，散列冲突的概率越来越大。

        解决办法：动态扩容。针对散列表，当装载因子过大的时候，可以申请一个更大的散列表，将数据搬移到这个新散列表中。假设我们每次动态扩容都申请一个原来散列表两倍大小的空间。如果原来的散列表的装载因子是0.8，那经过扩容之后的新散列表的装载因子就是0.4。

        针对散列表动态扩容，数据搬移操作很复杂。因为散列表的大小改变了，数据的存储位置也变了，所以需要通过散列函数重新计算每一个数据的存储位置。如图，在原来的散列表中，数据21这个元素存储在下标为0的位置，搬移到新的散列表中，存储在下标为7的位置。

       

        插入一个数据，最好情况下，不需要动态扩容，最好的时间复杂度是O(1)；最坏情况下，散列表装载因子过高，启动扩容，需要重新申请内存空间，重新计算哈希位置，并且搬移数据，所以时间复杂度是O(n)。使用摊还分析法，均摊情况下，时间复杂度接近最好情况，就是O(1)。

       对于动态的散列表，随着数据的删除，散列表中的数据会越来越少，空闲空间越来越多。如果是对空间消耗比较敏感，可以在装载因子小于某一阈值以后，启动动态缩容。

3、如何避免低效的扩容？

        当装载因子达到阈值的时候，需要先进行扩容，再插入数据，这个时候插入数据就会很慢，甚至无法接受，那么该如何有效解决这个问题呢？

        解决办法：将扩容的操作穿插在插入操作的过程中，分批完成。当装载因子触达阈值以后，我们只申请新的空间，但是并不将老的数据搬移到新的散列表中。当有新的数据要插入的时候，将新的数据插入到新的散列表中，并且在老的散列表中拿出来一个数据放入到新的散列表中。每次插入都重复上面的过程。经过多次的插入操作以后，老的散列表中的数据就一点一点全部搬移到新的散列表中了，这样就避免了一次性搬移带来的插入操作变慢的情况。

     

        这期间如果涉及到查询操作，为了兼容新、老散列表中的数据，我们先从新的散列表中查找数据，如果没找到，再去老的散列表中查找。    

4、如何选择散列冲突解决办法？

       上一节讲了两种散列冲突解决办法，开放寻址法和链表法。这两种方法在实际的软件开发当中都是比较常用的方法。这两种冲突解决方法都有哪些优势和劣势呢？

4.1 开放寻址法

     优点：

1. 散列表中的数据存储在数组中，可以有效利用CPU的缓存机制，加快查询速度
2. 序列化起来比较简单（序列化在后面的章节会讲到）

     缺点：

1. 删除数据的时候比较麻烦，需要标记已经删除的数据
2. 开放寻址法所有数据存储在一个数组中，相比于链表法，冲突的代价更高
3. 装载因子不能设置太大，导致比较浪费内存空间

    总结：当数据量比较小，装载因子小的时候，适合使用开放寻址法。

4.2 链表法

    优点：

1. 内存的利用率比开放寻址法高
2. 链表法相比于开放寻址法，对于装载因子的容忍度更高

    缺点：

1. 需要存储指针，所以对于比较小的对象的存储，是比较消耗内存的
2. 链表中的结点是零散分布在内存当中，不是连续的，所以对CPU缓存是不友好的

        对链表法稍加改造，可以实现一个更加高效的散列表。将链表法中的链表改造成其他高效的动态数据结构，比如跳表、红黑树。

        总结：基于链表的散列冲突处理方法比较适合存储大对象、大数据量的散列表，而且，比起开放寻址法，它更加灵活，支持更多的优化策略，比如使用红黑树代替链表。

5、解答思考题

    何为一个工业级散列表？

• 支持快速的查询、插入、删除操作
• 内存占用合理，不浪费过多的内存空间
• 性能稳定，极端情况下，散列表的性能也不会退化到无法接受的地步

   如何实现这样的散列表？ 

• 设计合理的散列函数
• 定义装载因子的阈值，并设计动态扩容策略
• 选择合适的散列冲突解决办法