最近尝试在 B 站录些小视频,录视频当是自己为了彻底搞懂某个知识点的最后一步,同时也希望能习得一些额外的能力。
最近在讲 Go 如何实现 bitset,这块内容比较难讲,我决定通过文字辅以视频的方式说明,于是就写了这篇文章。
bitset 结构
之前我已经写过一篇题为 Go 中如何使用 Set 的文章,其中介绍了 bitset 一种最简单的应用场景, 状态标志位,顺便还提了下 bitset 的实现思路。
状态标志和一般的集合有什么区别呢?
我的总结是主要一点,那就是状态标志中元素个数通常是固定的。而一般的集合中,元素个数通常是动态变化的。这会导致什么问题?
一般,我们使用一个整数就足以表示状态标志中的所有状态,最大的 int64 类型,足足有 64 个二进制位,最多可以包含 64 个元素,完全足够使用。但如果是集合,元素数量和值通常都不固定。
比如一个 bitset 集合最初可能只包含 1、2、4 几个元素,只要一个 int64 就能表示。如下:
但如果再增加了一个元素,比如 64(一个 int64 的表示范围是 0-63),这已经超出了一个 int64 能表示的范围。该怎么办?
一个 int64 无法表示,那就用多个呗。此时的结构如下:
一个 int64 切片正好符合上面的结构。那我们就可以定义一个新的类型 BitSet,如下:
data 成员用于存放集合元素,切片的特点就是能动态扩容。
还有,因为 bitset 中元素个数无法通过 len 函数获取,而具体的方法相对复杂一点,可增加一个 size 字段记录集合元素的个数。然后就可以增加一个 Size 方法。
元素位置
定义好了 BitSet 类型,又产生了一个新的问题,如何定位存放元素的位置?在标志位的场景下,元素的值即是位置,所以这个问题不用考虑。但通用的集合不是如此。
先看下 BitSet 的二进制位的分布情况。
类似行列的效果,假设用 index 表示行(索引),pos 表示列(位置)。切片索引从 0 到 n,n 与集合中的最大元素有关。
接下来确定 index 和 pos 的值。其实,之前的文章已经介绍过了。
index 可通过元素值整除字长,即 value / 64,转化为高效的位运算,即 value >> 6。
pos 可以通过元素值取模字长,即 value % 64,转化为高效的位运算,即 value & 0x3f,获取对应位置,然后用 1 << uint(value % 0xf) 即可将位置转化为值。
代码实现
理论再多,都不如 show me your code。开始编写代码吧!
先定义一些常量。
就是前面提到的用于计算 index 和 pos 的两个常量。
提供两个函数,用于方便 index 和 pos 上对应值的计算,代码如下:
构造函数
提供了一个函数,用于创建初始 BitSet,且支持设置初始的元素。
函数原型如下:
输出参数 ns 是一个 int 类型的变长参数,用于设置集合中的初始值。
如果输入参数 ns 为空的话,new(BitSet) 返回空集合即可。
如果长度非空,则要计算要开辟的空间,通过计算最大元素的 index 可确定。
现在,可以向 BitSet 中添加元素了。
元素已经全部添加完成!
BitSet 的方法
接下来是重点了,为 BitSet 增加一些方法。主要是分成两类,一是常见的增删查等基础方法,二是集合的特有操作,交并差。
基础方法
主要是几个方法,分别是 Add(增加)、Clear(清除) 、Contains(检查)以及返回元素个数。如果要有更好的性能和空间使用率,Add 和 Clear 还有考虑灵活的。
contains
先讲 Contains,即检查是否存在某个元素。
函数定义如下:
输入参数即是要检查的元素,输出是检查结果。
实现代码如下:
核心就是 set.data[i]&posVal(n) != 0 这句代码,通过它判断是否存在指定元素。
clear
再谈 Clear,从集合中清除某个元素,
函数定义如下:
实现代码如下:
通过 &^ 实现指定位清除。同时要记得set.size-- 更新集合中元素的值。
上面的实现中有个瑕疵,就是如果一些为被置零后,可能会出现高位全部为 0,此时应要通过 reslice 收缩 data 空间。
具体怎么操作呢?
通过对 set.data 执行检查,从高位检查首个不为 0 的 uint64,以此为基准进行 reslice。假设,这个方法名为 trim。
实现代码如下:
add
接着,再说 Add 方法,向集合中添加某个元素。
函数定义如下:
增加元素的话,先检查下是否有足够空间存放新元素。如果新元素的索引位置不在当前 data 表示的范围,则要进行扩容。
实现如下:
一切准备就绪后,接下来就可以进行置位添加了。在添加前,先检测下集合是否已经包含了该元素。在添加完成后,还要记得要更新下 size。
实现代码如下:
好了!基础的方法就介绍这么多吧。
当然,这里的方法还可以增加更多,比如查找当前元素的下一个元素,将某个范围值都添加进集合等等等。
集合方法
介绍完了基础的方法,再继续介绍集合一些特有的方法,交并差。
computeSize
在正式介绍这些方法前,先引入一个辅助方法,用于计算集合中的元素个数。之所以要引入这个方法,是因为交并差没有办法像之前在增删的时候更新 size,要重新计算一下。
实现代码如下:
这是一个不可导出的方法,只能内部使用。遍历 data 的每个 uint64,如果非 0,则统计其中的元素个数。元素个数统计用到了标准库中的 bits.OnesCount64 方法。
方法定义
继续介绍集合的几个方法,它们的定义类似,都是一个 BitSet 与另一个 BitSet 的运算,如下:
intersect
先介绍 Intersect,即计算交集的方法。
一个重要前提,因为交集是 与运算,结果肯定位于两个参与运算的那个小范围集合中,所以,开辟空间和遍历可以缩小到这个范围进行。
实现代码如下:
这里通过遍历逐一对每个 uint64 执行 与运算 实现交集。在完成操作后,记得计算下 intersectSet 中元素个数,即 size 的值。
union
再介绍并集 Union 方法。
它的计算逻辑和 Intersect 相反。并集结果所占据的空间和以参与运算的两个集合的较大集合为准。
实现代码如下:
创建的 unionSet 中,data 分配空间是 len(maxSet.data)。
因为两个集合中的所有元素满足最终结果,但 maxSet 的高位部分无法通过遍历和 minSet 执行运算,直接拷贝进结果中即可。
最后,遍历两个集合 data,通过 或运算 计算剩余的部分。
difference
介绍最后一个与集合相关的方法,Difference,即差集操作。
差集计算结果 differenceSet 的分配空间由被减集合 set 决定。其他的操作和 Intersect 和 Union 类似,位运算通过 &^ 实现。
遍历集合的元素
单独说下集合元素的遍历,之前查看集合元素一直都是通过 Contains 方法检查是否存在。能不能把集合中的每个元素全部遍历出来呢?
再看下 bitset 的结构,如下:
上面的集合中,第一行 int64 的第一个元素是 1,尾部有一位被置零。通过观察发现,前面有几个 0,第一个元素就是什么值。
第二行 int64 的第一元素尾部没有 0,那它的值就是 0 吗?当然不是,还有前面一行的 64 位基础,所以它的值是 64+0。
总结出什么规律了吗?笨,理论功底太差,满脑子明白,就是感觉写不清楚。看代码吧!
先看函数定义:
输入参数是一个回调函数,通过它获取元素的值,不然每次都要写一大串循环运算逻辑,不太可能。回调函数的返回值 bool,表明是否继续遍历。Visit 的返回值表明是函数是非正常结束的。
实现代码如下:
使用也非常方便,示例代码如下:
好了,就说这么多吧!
总结
本篇文章主要是参考了几个开源包的基础上,介绍了 bitset 的实现,比如 bit[1] 和 bitset[2] 等。总的来说,位运算就是没有那么直观,感觉脑子不够用了。
感悟
最近在深挖 Go 语言,渐渐发现了自己的一些短板,理论知识的缺失渐渐显现。比如,我在写这篇文章的时候,了解到 bits 标准库中用到了 德布鲁因序列,此前并不清楚。前几天在研究如何进行 JSON 解析时,了解到了有限状态机这个知识,Go 的源码中简直完美体现了这个知识的重要性。在学习 Go 语言组成的时候,知道了 扩展巴克斯范式,很多语言的文档都是这种方式来表现语法,一门了然。
作为一名电子信息专业毕业的专科生,算不上计算机的刻板出生,工作六年才了解到这些知识,有点烦闷,也有点兴奋。如果说前六年是广度的提升,那么,接下来就应该是更加专注的研究了。
参考资料
[1]
bit: https://github.com/yourbasic/bit
[2]
bitset: https://github.com/willf/bitset