Python中Dict两种实现的原理

前记

在Python中, Dict是一系列由键和值配对组成的元素的集合, 它是一个可变容器模型，可以存储任意类型对象. Dict的存取速度非常的快, 而这全靠他的哈希算法的功劳, 在Python3.6之前Dict是无序的, 在Python3.6中绝大部分是有序的, 在Python3.7以及之后则是绝对有序的, 而且占用内存空间更少, 对于万物基于Dict的Python,这算一个大优化, 也让我好奇Python是如何实现哈希有序的.

1.无序Dict的实现

Dict在查找key时非常的快， 这得益于它的使用空间换时间思路和哈希实现。的在读取和写入Key时， 都会对Key进行哈希计算(所以要求Key都是不可变类型，如果是可变类型，就无法计算出他的哈希值了), 然后根据计算的值, 与当前的数组空间长度进行取模计算, 得到的值就是当前Key在数组的下标, 最后通过下标就可以以O(1)的时间复杂度读取值. 这种实现非常棒, 也是分布式的常见做法, 但也有问题, 如果数组满了怎么办或者是不同的Key, 但是哈希结果是一样的怎么办?

针对第一个问题的解决办法是在合适的时候进行扩容, 在Python中, 当Dict中放置的数量占容量的2/3时, Dict就会开始扩容, 扩容后的总容量是扩容之前的一倍, 这是为了减少频繁扩容， 导致key的迁移次数变多;

而针对第二个问题则有两个解法:

• 链接法: 原本数组里面存的是Key对应的值, 而链接法的数组存的是一个数组, 这个数组存了一个包含key和对应值的数组, 如下所示, 假设key1和key2的哈希结果都是0, 那就会插入到数组的0下标中, key1在0下标的数组的第一位, 而key2在插入时,发现已经存在key1了, 再用key2与key1进行对比, 发现它们的key其实是不一样的, 那就在0下标进行追加.

  array = [
  	[
      # 分别为key, hash值， 数值
  		('key1', 123, 123),
  		('key2', 123, 123)
  	],
  	[
  		('key3', 123, 123)
  	]
  ]
  
  

• 开发寻址法: 开发寻址法走的是另外一个思路, 采取借用的思想, 在插入数据时， 如果遇到了冲突那就去使用当前下标的下一位, 如果下一位还是冲突, 就继续用下一位.在查找数据时则会对哈希值对应的key进行比较， 如果有值且对不上就找下一位， 直到或者空位找到为止。

上面两个的方案的实现都很简单, 对比下也很容易知道他们的优缺点:

• 链表法的优点:
  • 删除记录方便, 直接处理数组对应下标的子数组即可.
  • 平均查找速度快, 如果冲突了, 只需要对子数组进行查询即可
• 链表法的缺点:
  • 用到了指针, 导致了查询速度会偏慢一点, 内存占用可能会较高, 不适合序列化. 而开放寻址法的优缺点是跟链表法反过来的, 由于Python万物基于Dict, 且都需要序列化, 所以选择了开放寻址法.

通过对比链表法和开放寻执法都可以发现, 他们都是针对哈希冲突的一个解决方案, 如果存数据的数组够大, 那么哈希冲突的可能性就会很小, 不用频繁扩容迁移数据, 但是占用的空间就会很大.所以一个好的哈希表实现初始值都不能太大, 在Python的Dict的初始值是8. 另外哈希表还需要让存数据的数组的未使用空位保持在一个范围值内波动, 这样空间的使用和哈希冲突的概率都会保持在一个最优的情况, 但由于每次扩容都会消耗很大的性能, 也不能每次更改都进行一次扩容, 所以需要确定一个值, 当未使用/使用的占比达到这个值时, 就自动扩容, 在Python的Dict中这个值是2/3. 也就是当Dict里面使用了2/3的空间后, 他就会自动扩容, 使他达到一个新的最优平衡. 同时, 为了减少每次扩容时key的迁移次数, 扩容后的总容量一定是扩容之前的总容量的一倍, 这样的话, key只需要迁移一半的数量即可.

哈希表扩容一倍只会迁移一半的key的原因是获取key在数组的下标是通过对哈希值取模实现的， 比如一个哈希表容量为8，一个哈希值为20的key取模值为4，哈希表扩容后长度变为16， 此时取模结果还是4。而一个哈希值为11的key取