Python常见的数据类型的底层实现

数据类型决定数据在内存中所占用空间大小

一体式结构与分离式结构的区别:

如果增加元素超过了列表的最大存储量时,则需要新建一个数据区

• 一体式结构若想更换数据区,则要整体更改
• 分离式结构则只需要更改表信息区中的数据区链接地址即可，顺序表对象不变

list的基本实现技术

Python标准类型list就是一种元素个数可变的线性表，可以加入和删除元素，并在各种操作中维持已有元素的顺序（即保序），而且还具有以下行为特征：

1. 基于下标（位置）的高效元素访问和更新，时间复杂度应该是O(1)；

2. 采用顺序表技术，表中元素保存在一块连续的存储区中。

3. 允许任意加入元素，而且在不断加入元素的过程中，表对象的标识（函数id得到的值）不变。

4. 必须能更换元素存储区，并且为保证更换存储区时list对象的标识id不变，只能采用分离式实现技术。

在Python的官方实现中，list就是一种采用分离式技术实现的动态顺序表(允许存储区扩充的顺序表)。这就是为什么用list.append(x) ，即尾部插入）比在指定位置插入元素效率高的原因。

list实现采用了如下的策略：在建立空表（或者很小的表）时，系统分配一块能容纳8个元素的存储区；在执行插入操作（insert或append）时，如果元素存储区满就换一块4倍大的存储区。但如果此时的表已经很大（目前的阀值为50000），则改变策略，采用加一倍的方法。引入这种改变策略的方式，是为了避免出现过多空闲的存储位置。

python数据结构的例子

list和tuple两种类型采用了顺序表的实现技术
list是采用分离式结构,元素外置形式,倍数扩充的顺序表

dict的实现技术

字典是通过散列表(哈希表)实现的。

字典也被称为关联数组，还称为哈希数组等。也就是说，字典也是一个数组，但数组的索引是键经过哈希函数处理后得到的散列值。

哈希函数的目的是使键均匀地分布在数组中，并且可以在内存中以O(1)的时间复杂度进行寻址，从而实现快速查找和修改。

哈希表中哈希函数的设计困难在于将数据均匀分布在哈希表中，从而尽量减少哈希碰撞和冲突。由于不同的键可能具有相同的哈希值，即可能出现冲突。

python中，使用伪随机探测(pseudo-random probing)的散列表(hash table)作为字典的底层数据结构。因此，只有可哈希的对象才能作为字典的键。可变类型（如列表，字典和集合）就是不可哈希的，因此不能作为字典的键。

常见的哈希碰撞解决方法

1. 开放寻址法（open addressing）：
   开放寻址法中，所有的元素都存放在散列表里，当产生哈希冲突时，通过一个探测函数计算出下一个候选位置，如果下一个获选位置还是有冲突，那么不断通过探测函数往下找，直到找个一个空槽来存放待插入元素。
   开放地址的意思是除了哈希函数得出的地址可用，当出现冲突的时候其他的地址也一样可用，常见的开放地址思想的方法有线性探测再散列，二次探测再散列等，这些方法都是在第一选择被占用的情况下的解决方法。

2. 再哈希法：
   这个方法是按顺序规定多个哈希函数，每次查询的时候按顺序调用哈希函数，调用到第一个为空的时候返回不存在，调用到此键的时候返回其值。

Python数据类型之set

set(): 一种可变的、无序的、有限的集合，其元素是唯一的、不可变的（可哈希的）对象。

实现细节

set集合和dict一样也是基于散列表的，只是他的表元只包含值的引用而没有对键的引用，其他的和dict基本上是一致的。

事实上，集合被实现为带有空值的字典，只有键才是实际的集合元素。此外，集合还利用这种没有值的映射做了其它的优化。由于这一点，可以快速的向集合中添加元素、删除元素、检查元素是否存在。平均时间复杂度为O(1),最坏的事件复杂度是O(n)。

set的去重是通过两个函数__hash__和__eq__结合实现的。
1、当两个变量的哈希值不相同时，就认为这两个变量是不同的
2、当两个变量哈希值一样时，调用__eq__方法，当返回值为True时认为这两个变量是同一个，应该去除一个。返回FALSE时，不去重