Python: 实现bitmap数据结构

最新推荐文章于 2023-04-16 14:48:50 发布
最新推荐文章于 2023-04-16 14:48:50 发布
阅读量314 收藏 3
点赞数
文章标签： 数据结构与算法 python golang
原文链接：https://my.oschina.net/goal/blog/200347
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

bitmap是很常用的数据结构，比如用于Bloom Filter中、用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。对于Python来说，整数类型默认是有符号类型，所以一个整数的可用位数为31位。

bitmap实现思路

bitmap是用于对每一位进行操作。举例来说，一个Python数组包含4个32位有符号整型，则总共可用位为4 * 31 = 124位。如果要在第90个二进制位上操作，则要先获取到操作数组的第几个元素，再获取相应的位索引，然后执行操作。

192935_I9cL_182025.jpg

上图所示为一个32位整型，在Python中默认是有符号类型，最高位为符号位，bitmap不能使用它。左边是高位，右边是低位，最低位为第0位。

初始化bitmap

首先需要初始化bitmap。拿90这个整数来说，因为单个整型只能使用31位，所以90除以31并向上取整则可得知需要几个数组元素。代码如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size = int((max + 31 - 1) / 31) #向上取整

if __name__ == '__main__':
	bitmap = Bitmap(90)
	print '需要 %d 个元素。' % bitmap.size

$ python bitmap.py
需要 3 个元素。

计算索引

确定了数组大小后，也就可以创建这个数组了。如果要将一个整数保存进这个数组，首先需要知道保存在这个数组的第几个元素之上，然后要知道是在这个元素的第几位上。因此计算索引分为：

  1. 计算在数组中的索引

  2. 计算在数组元素中的位索引

计算在数组中的索引

计算在数组中的索引其实是跟之前计算数组大小是一样的。只不过之前是对最大数计算，现在换成任一需要存储的整数。但是有一点不同，计算在数组中的索引是向下取整，所以需要修改calcElemIndex方法的实现。代码改为如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

if __name__ == '__main__':
	bitmap = Bitmap(90)
	print '数组需要 %d 个元素。' % bitmap.size
	print '47 应存储在第 %d 个数组元素上。' % bitmap.calcElemIndex(47)

$ python bitmap.py
数组需要 3 个元素。
47 应存储在第 1 个数组元素上。

所以获取最大整数很重要，否则有可能创建的数组容纳不下某些数据。

计算在数组元素中的位索引

数组元素中的位索引可以通过取模运算来得到。令需存储的整数跟31取模即可得到位索引。代码改为如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

	def calcBitIndex(self, num):
		return num % 31

if __name__ == '__main__':
	bitmap = Bitmap(90)
	print '数组需要 %d 个元素。' % bitmap.size
	print '47 应存储在第 %d 个数组元素上。' % bitmap.calcElemIndex(47)
	print '47 应存储在第 %d 个数组元素的第 %d 位上。' % (bitmap.calcElemIndex(47), bitmap.calcBitIndex(47),)

$ python bitmap.py
数组需要 3 个元素。
47 应存储在第 1 个数组元素上。
47 应存储在第 1 个数组元素的第 16 位上。

别忘了是从第0位算起哦。

置1操作

二进制位默认是0，将某位置1则表示在此位存储了数据。代码改为如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

	def calcBitIndex(self, num):
		return num % 31

	def set(self, num):
		elemIndex = self.calcElemIndex(num)
		byteIndex = self.calcBitIndex(num)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem | (1 << byteIndex)

if __name__ == '__main__':
	bitmap = Bitmap(90)
	bitmap.set(0)
	print bitmap.array

$ python bitmap.py
[1, 0, 0]

因为从第0位算起，所以如需要存储0，则需要把第0位置1。

清0操作

将某位置0，也即丢弃已存储的数据。代码如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

	def calcBitIndex(self, num):
		return num % 31

	def set(self, num):
		elemIndex = self.calcElemIndex(num)
		byteIndex = self.calcBitIndex(num)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem | (1 << byteIndex)

	def clean(self, i):
		elemIndex = self.calcElemIndex(i)
		byteIndex = self.calcBitIndex(i)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem & (~(1 << byteIndex))

if __name__ == '__main__':
	bitmap = Bitmap(87)
	bitmap.set(0)
	bitmap.set(34)
	print bitmap.array
	bitmap.clean(0)
	print bitmap.array
	bitmap.clean(34)
	print bitmap.array

$ python bitmap.py
[1, 8, 0]
[0, 8, 0]
[0, 0, 0]

清0和置1是互反操作。

测试某位是否为1

判断某位是否为1是为了取出之前所存储的数据。代码如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

	def calcBitIndex(self, num):
		return num % 31

	def set(self, num):
		elemIndex = self.calcElemIndex(num)
		byteIndex = self.calcBitIndex(num)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem | (1 << byteIndex)

	def clean(self, i):
		elemIndex = self.calcElemIndex(i)
		byteIndex = self.calcBitIndex(i)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem & (~(1 << byteIndex))

	def test(self, i):
		elemIndex = self.calcElemIndex(i)
		byteIndex = self.calcBitIndex(i)
		if self.array[elemIndex] & (1 << byteIndex):
			return True
		return False

if __name__ == '__main__':
	bitmap = Bitmap(90)
	bitmap.set(0)
	print bitmap.array
	print bitmap.test(0)
	bitmap.set(1)
	print bitmap.test(1)
	print bitmap.test(2)
	bitmap.clean(1)
	print bitmap.test(1)

$ python bitmap.py
[1, 0, 0]
True
True
False
False

接下来实现一个不重复数组的排序。已知一个无序非负整数数组的最大元素为879，请对其自然排序。代码如下：

#!/usr/bin/env python
#coding: utf8

class Bitmap(object):
	def __init__(self, max):
		self.size  = self.calcElemIndex(max, True)
		self.array = [0 for i in range(self.size)]

	def calcElemIndex(self, num, up=False):
		'''up为True则为向上取整, 否则为向下取整'''
		if up:
			return int((num + 31 - 1) / 31) #向上取整
		return num / 31

	def calcBitIndex(self, num):
		return num % 31

	def set(self, num):
		elemIndex = self.calcElemIndex(num)
		byteIndex = self.calcBitIndex(num)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem | (1 << byteIndex)

	def clean(self, i):
		elemIndex = self.calcElemIndex(i)
		byteIndex = self.calcBitIndex(i)
		elem      = self.array[elemIndex]
		self.array[elemIndex] = elem & (~(1 << byteIndex))

	def test(self, i):
		elemIndex = self.calcElemIndex(i)
		byteIndex = self.calcBitIndex(i)
		if self.array[elemIndex] & (1 << byteIndex):
			return True
		return False

if __name__ == '__main__':
	MAX = 879
	suffle_array = [45, 2, 78, 35, 67, 90, 879, 0, 340, 123, 46]
	result       = []
	bitmap = Bitmap(MAX)
	for num in suffle_array:
		bitmap.set(num)
	
	for i in range(MAX + 1):
		if bitmap.test(i):
			result.append(i)

	print '原始数组为:    %s' % suffle_array
	print '排序后的数组为: %s' % result

$ python bitmap.py
原始数组为：   [45, 2, 78, 35, 67, 90, 879, 0, 340, 123, 46]
排序后的数组为：[0, 2, 35, 45, 46, 67, 78, 90, 123, 340, 879]

结束语

bitmap实现了，则利用其进行排序就非常简单了。其它语言也同样可以实现bitmap，但对于静态类型语言来说，比如C/Golang这样的语言，因为可以直接声明无符号整型，所以可用位就变成32位，只需将上述代码中的31改成32即可，这点请大家注意。

转载于:https://my.oschina.net/goal/blog/200347

weixin_33924220
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python bitmap数据结构算法具体实现
s15885823584的博客
12-08 797
bitmap数据结构的原理、适用场景以及优缺点等在下链接中有详细说明，在此不再赘述。 https://blog.csdn.net/pipisorry/article/details/62443757?utm_source=itdadao&amp;utm_medium=referral 最近在学python时，学到bitmap算法，于是搜了相关资料，看大家都在说原理及适用场景等，代码给的比较简略...
cd C:\:$i30:$bitmap导致的NTFS错误漏洞分析
锋刃科技的博客
01-25 2118
对于近期cd C:\:$i30$bitmap可以导致驱动器损坏，并导致重启后执行磁盘检查。这里也进行了一次复现，同时发现在windows日志中记录了此错误，描述为MFT中包含损坏的文件记录。 随后对该漏洞进行分析查找漏洞触发点，但由于作者对ntfs文件系统的了解不多。因此本文章更多的是描述跟踪查找此漏洞触发点的步骤。 首先通过procmon 对cmd 的cd 命令进行监控。发现以下文件操作： 发现是CreateFile操作导致的漏洞产生。随后写一段代码证实。 #include <st
bitmap之py实现
yahuuuwjl的博客
08-28 264
数据结构中很特别的bitmap，bitmap原理：python3中一个带符号的整数是8位，第一位是符号位，剩下63位可以按位操作。 用于不重复整数的排序，排序原理是：从文件读取数组，按照数字大小在对应bit位置操作置1，时间复杂度是O(n)。遍历对应位置，为1就证明有数，以此排序。 参考原文，但是python2和3的有符号整数都是8字节。所以略有修改。 如有错误，欢迎留言指导。 #!/home/w...
python 32bit数据结构_python实现bitmap数据结构详解
weixin_42650811的博客
12-24 269
bitmap是很常见的算法设计，例如用以Bloom Filter中；用以无反复整数金额的排列这些。bitmap一般根据数组来完成，数组中每一个原素能够当做是一系列二进制数，全部元素组成更高的二进制结合。针对Python而言，整数金额种类默认设置是有标记种类，因此 一个整数金额的能用十位数为31位。bitmap完成构思bitmap是用以对每一位开展实际操作。举例来说，一个Python数组包括4个32...
Bitmap详解
wang_yong_hui_1234的博客
04-16 2054
RGB色彩模式是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。对一种颜色进行编码的方法统称为“颜色空间”或“色域”。用最简单的话说，世界上任何一种颜色的“颜色空间”都可定义成一个固定的数字或变量。RGB（红、绿、蓝）只是众多颜色空间的一种。采用这种编码方法，每种颜色都可用三个变量来表示-红色绿色以及蓝色的强度。
python实现bitmap数据结构详解
12-23
bitmap是很常用的数据结构，比如用于Bloom Filter中；用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。对于Python来说，整数类型默认...
python 常用数据结构实例
04-14
python实现常用数据结构示例。树，栈，队列，bitamap.
数据结构之位图（bitmap）详解
12-25
位图（bitmap）是一种非常常用的结构，在索引，数据压缩等方面有广泛应用。本文介绍了位图的实现方法及其应用场景。 2. 位图实现 （1）自己实现 在位图中，每个元素为“0”或“1”，表示其对应的元素不存在或者存在...
海量数据处理系列之:用C++实现Bitmap算法
01-01
bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 适用范围：可进行数据的快速查找，...
python下载
09-15
python下载，适用于刚开始学习python的同学，不会浪费太多时间
python
03-01
NULL 博文链接：https://zhaoaiqing.iteye.com/blog/251193
通过$Bitmap元文件计算NTFS分区的使用空间大小
飞空静渡
05-10 1万+
       原创文章，转载请注明出处，谢谢！               作者：清林，博客名：飞空静渡 在我之前的一篇文章《如何获取NTFS卷的使用空间大小》里说明了两张方式来获取NTFS文件系统下的分区的使用空间的大小的原理，这里，我将通过第一种方法即通过NTFS中的Bitmap元文件来计算整个分区使用空间的大小。 在《如何获取NTFS卷的使用空间大小》里说，在
bitmap的原理及使用python实现最基础的bitmap
keepaware的博客
01-01 4093
前段时间读公众号老看到bitmap或者hash值来解决大批量数据的排序或者去重的工作，当然这里的数据绝对不是平常所使用的小数据，而是可能纯文本数据大小都达到了上T的。正是因为自己多看了几眼，因此本文主要对bitmap进行python实现，并对其进行一定解释。 bitmap原理 实际上bitmap的原理很简单，就是用位的方法来储存数值，也正是因此如果不是数值的话就不能用bitmap（当然通过什么方法来转化为数值也不是不行）。用位如何储存数值呢？我们知道，当我们随意向计算机输入一个数字，这个数字绝对不是以其本身
Bitmap总结
流月的博客
06-10 797
相信大家在平时的android开发中肯定用过Bitmap,而且用的还不少，那么你对它有足够的了解吗？你的使用高效吗？对于超大图片是如何处理的呢？下面就让我们一起来从基础学习一下Bitmap。 一、Bitmap是什么？ 位图（Bitmap），又称栅格图或点阵图，是使用像素阵列来表示的图像。 位图（Bitmap）也可指： 一种数据结构，代表了有限域中的稠集，每一个元素至少出现一次，没有其他...
Python tkinter -- 第18章 画布控件之位图（bitmap）
weixin_42272768的博客
10-24 3367
在画布上显示bitmap
[Python]数据结构--Bitmap 位图
Festinatione facit vastum
01-13 7723
[Python]数据结构–Bitmap 位图 ‘Festinatione facit vastum’ Bitmap简介 Bitmap的实现和使用 Bitmap简介 bitmap是很常用的数据结构，比如用于Bloom Filter中、用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。对于Pyth
BitMap算法
热门推荐
皮皮blog
03-19 4万+
http://blog.csdn.net/pipisorry/article/details/62443757BitMapBitMap从字面的意思，很多人认为是位图，其实准确的来说，翻译成基于位的映射。在所有具有性能优化的数据结构中，大家使用最多的就是hash表，是的，在具有定位查找上具有O(1)的常量时间，多么的简洁优美。但是数据量大了，内存就不够了。当然也可以使用类似外排序来解决问题的，由于要
Python数据结构实现Bitmap
JackLiu16的博客
02-23 704
Bitmap bitmap是很常用的数据结构，比如用于Bloom Filter中；用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制数，所有元素组成更大的二进制集合。 Bitmap的定义 bitmap是很常用的数据结构，比如用于Bloom Filter中；用于无重复整数的排序等等。bitmap通常基于数组来实现，数组中每个元素可以看成是一系列二进制...
如何用定义Gdiplus::Bitmap* bitmap类型
最新发布
06-09
要定义一个 Gdiplus::Bitmap* 的变量，可以使用以下语法： ```cpp Gdiplus::Bitmap* bitmap; ``` 这将声明一个指向 Gdiplus::Bitmap 类型的指针变量 bitmap。但是，需要注意的是，这只是声明了一个指针变量，它并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值