本篇主要针对Redis整数集合做了一些梳理
整数集合(intset)是集合键的底层实现之一,当一个集合只包含整数元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现。
举个例子,如果我们创建一个只包含五个元素的集合键,并且集合中所有的元素都是整数值,那么这个集合键的底层实现就会是整数集合:
redis> SADD numbers 1 3 5 7 9
(integer) 5
redis> OBJECT ENCODING number
‘intset’
以下,就是针对整数集合以及相关的操作的实现原理进行介绍。
1.1 整数集合的实现
整数集合(intset)是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为 int16_t、int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素。
每个intset.h/intset结构表示一个整数集合:
``typedef struct intset {
//编码方式
uint32_t encoding
//集合包含的元素梳理
uint_32_t length
//保存元素的数组
int8_t contents[];
}’’ intset;
contents数组是整数集合的底层实现,整数集合的每个元素都是contents数组的一个数组项(item),各个项在数组中按值得大小从小到发有序地排序,并且数组中不包含任何重复项。
length属性记录了整数集合包含的元素数量,也即是contents数组的长度。
虽然intset结构将contents属性声明为int8_t类型的数组,但实际上contents数组并不保存任何int8_t类型的值,contents数组的真正类型取决于encoding属性的值:
1. 如果encoding属性的值为INTSET_ENC_INT16,那么contents就是一个int16_6类型的数组,数组里的每个项都是一个int16_t类型的是整数值(最小值为-32768,最大值为32767)。
2. 如果encoding属性的值为INTSET_ENC_INT32,那么contents就是一个int32_t类型的数组,数组里的每个项都是一个int32_t类型的整数值(最小值为-2147483648,最大值为2147483647)。
3. 如果encoding属性的值为INTSET_ENC_INT64,那么contents就是一个int64_t类型的数组,数组里的每个项都是一个int64_t的整数值(最小值为-9223372036854775808,最大值为9223372036854775807)。
图6-1展示了一个整数集合示例:
4. encoding属性的值为INTSET_INT16,表示整数集合的底层实现为int16_t类型的数组,而集合保存的都是int16_t类型的整数值。
5. length属性的值为5,表示整数集合包含了五个元素。
6. contents数组按从小到大的顺序保存着集合中的五个元素。
7. 因为每个集合元素都是int16_t类型的整数值,所以contents数组的大小等于sizeof(int16_t)。
图6-2展示了另一个整数集合示例:
1. encoding属性的值为INTSET_ENC_INT64,表示整数聚合的底层实现为int64_t类型的数组,而数组中保存的都是int64_t类型的整数值。
2. length属性的值为4,表示整数集合包含四个元素。
3.contents数组按从小到大的顺序保存着集合中的四个元素。
4.因为每个集合元素都是int64_t类型的整数值,所以contents数组的大小为sizeof(int64_t)*4 = 64 * 4 = 256位。
虽然contents数组保存的四个整数值中,只有-2 675 256 175 807 981 027 是真正需要用int64_t类型来保存的,而其他 1、3、5三个值都可以用int16_t类型来保存,不过根据整数集合的升级规则,当向一个底层int16_t数组的整数集合添加一个int64_t类型的整数值时,整数集合已有的所有元素都会被转换成int64_t类型,所以contents数组保存的四个整数值都是int64_t类型的,不仅仅是 -2 675 256 175 807 981 027。
1-2 升级
每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现在所有元素的类型都要长时,整数集合需要先进行升级(upgrade),然后才能将新元素添加到整数集合里面。
升级整数集合并添加新元素共分为三步进行:
1)根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。
2)将底层数组现有的所有元素都转换成与新元素相同的类型,并将类型转换后的元素防止到正确的位上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变。
3)将新元素添加到底层数组里面。
举个例子,假设现在有一个INTSET_ENC_INT16编码的整数集合,集合中包含三个int16_t类型的元素,如图6-3所示。
因为每个元素都占用16位的空间,所以整数集合底层的大小为3*16 = 48位,图6-4展示了整数集合的三个元素在这48位里的位置。
现在,假设我们要将类型为int32_t的整数值 65 535 添加到整数集合里面,因为65 535 的类型int32_t比整数集合当前所有元素的类型都要长,所以在将65 535 添加到整数集合之前,程序需要先对整数集合进行升级。
升级首先要做的是,根据新类型的长度,以及集合元素的数量(包括要添加的新元素在内),对底层数组进行空间重分配。
整数几个目前有三个元素,加上新元素65 535 ,整数集合需要分配四个元素的空间,因为每个int32_t整数值需要占用32位空间,所以在空间重分配之后,底层数组的大小将是 32 * 4 = 128位,如图6-5所示,虽然程序对底层数组进行了空间重分配,但数组原有的三个元素1、2、3仍然是int16_t类型,这些元素还保存在数组的前48位里面,所以程序接下来要做的就是将这三个元素转换成int32_t类型,并将转换后的元素放置到正确的位上面,而且在放置元素的过程中,需要维持底层数组的有序性质不变。
首先,因为元素3在1、2、3、 65535四个元素中排名第三,所以它将被移动到contents数组的索引2位置上,也即是数组64位至95位的空间内,如图 6-6所示。
接着,因为元素2在1、2、3、 65536四个元素中排名第二,所以它将被移动到contents数组的索引1位置上,也即是数组的32位至63位的空间内,如图6-7所示。
之后,因为元素1在1 、2 、3 、65536四个元素中排名第一,所以它将被移动到contents数组的索引0位置上,即数组的0位至31位的空间内,如图6-8所示。
然后,因为元素65535在1 、2 、3 、65535四个元素中排名第四,所以它将被添加到contents数组的索引3位置上,也即是数组的96位至127位的空间呢,如图6-9所示。
最后,程序将整数集合encoding属性的值从INTSET_ENC_INT16改为INTSET_ENC_INT32,并将length属性的值从3改为4,设置完成之后的整数集合如图6-10所示。
因为每次向整数集合添加新元素都可能会引起升级,而每次升级都需要对底层数组中已有的所有元素进行类型的转换,所以向整数集合添加新元素的时间复杂度为O(N).
其他类型的升级操作,比如从INTSET_ENC_INT16编码升级为INTSET_ENC_INT64编码,或者从INTSET_ENC_INT32编码升级为INTSET_ENC_INT64编码,升级的过程都和上面展示的升级过程类似。
1-3 升级的好处
整数几个的升级策略有两个好处,一个市提升整数集合的灵活性,另一个是尽可能地节约内存。
1-3-1 提升灵活性
因为C语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值放在同一个数据巨额狗里面。
例如,我们一般只使用int16_t类型的数组来保存int16_t类型的值,只是用int32_t 类型的数组来保存int32_t类型的值,诸如此类。
但是,因为整数集合可以通过自动升级底层数组来适应新元素,所以我们可以随时地将int16_t、int32_t或者int64_t类型的整数添加到集合中,而不必担心出现类型错误,这种做法非常灵活。
1-3-2 节约内存
当然,要让一个数组可以同时保存int16_t、int32_t、int64_t三种类型的值,最简单的做法就是直接使用int64_t类型的数组作为整数集合的底层实现。不过这样一来,即使添加到整数集合里面的都是int16_t类型或者int32_t类型的值,数组都需要使用int64_t类型的空间去保存他们,从而出现浪费内存的情况。
而整数聚合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存。
例如,如果我们一直只想整数集合添加int16_t类型的值,那么整数集合的底层实现就会一直是int16_t类型的数组,只有我们要将int32_t类型或者int64_t类型的值添加到集合时,程序才会对数组进行升级。
1-4 降级
整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。
1-5 整数集合API
1-6 重点回顾
1. 整数集合时集合键的底层实现之一。
2. 整数集合的底层实现为数组,这个数组以有序、无重复的方式保存集合元素,在有需要是,程序会根据新添加的元素的类型,改变这个数组的类型。
3. 升级操作为整数集合带来了操作上的灵活性,并且尽可能的节约了内存。
4.整数集合只支持升级操作,不支持降级操作。
本文由作者摘自《Redis设计与实现》,纯属由于个人想进行记录的习惯,不会作为商业用途传播